Acompte versé sur vente future

Bonjour,
un propriétaire m'a proposé d'acheter un appartement actuellement loué mais dont le locataire doit partir prochainement. Je lui ai versé un acompte pour la réservation du bien, sans signer de compromis, simplement un papier entre nous spécifiant le montant de l'acompte sur la vente, signé par les 2 parties. N'ayant plus de nouvelles du vendeur et mon acompte ayant été encaissé, je me suis renseigné auprès de l'office notarial, et il s'avère que l'appartement ne peut être vendu actuellement car il s'agit de locaux commerciaux, et pour cela le vendeur doit demander une modification à la mairie du statut des locaux. J'ai demandé au vendeur de me rembourser mais il se défile à chaque fois. Je l'ai menacé d'un procès, dois-je encore patienter ou bien engager rapidement une procédure, afin de récupérer mon argent? Merci pour vos réponses