Permis de construire refusé

Bonjour,

Nous avons signé en mars dernier un compromis de vente pour l'achat d'un terrain, notre constructeur a déposé le permis de construire en mairie et celui ci vient d'être refusé ! nous avons écrit en recommandé avec accusé de réception au constructeur et au notaire pour récupérer l'argent que nous avions versé au notaire (dépôt de garantit env. 5 0000 €) et au constructeur pour les frais d'architecte (env. 700 €) et de dépôt de garantit (env. 600 €).
Le constructeur nous affirme que nous allons pouvoir récupérer toutes les sommes versées à lui et au notaire.
Est ce vraiment le cas? et si oui sous quel délai le notaire et le constructeur nous rendrons t il l'argent?
Étant , enceinte j'angoisse beaucoup merci de votre réponse.