Acompte versé pour la réservation d'une maison bois

Bonjour,

en 2007 nous avions décidé de construire un chalet. le constructeur nous a demandé un acompte d'un montant de 3200€ pour la réservation de la construction.
A ce jour nous ne pouvons plus faire construire la maison car le terrassement du terrain n'est toujours pas effectué. nous sommes donc contraint à annuler notre réservation. A savoir que lorsque nous voulions faire construire, le terrassier était d'accord de nous le faire gratuitement en contrepartie d'un service que nous aurions du lui rendre. cela fait 2 ans et aucun travaux ne sont à ce jour commencés.
nous avons fait faire un devis qui s'élève à 106 000€ ce qui représente le budget total pour notre maison.

Est-il possible de récupérer l'acompte versé étant donné que nous avons été contraint d'annulé? le constructeur refuse. est - il en droit ?

merci beaucoup pour votre réponse