Retractation sur un compromis de vente

Bonjour,

Mon conjoint et moi même avons fait appel à un courtier pour notre prêt immobilier, durant nos vacances, cette personne nous appelle pour nous apprendre qu'enfin une banque nous accorde un prêt à taux révisable, un peu frileux sur le fait que ce taux puisse évoluer de manière incontrolable, nous faisons part à l'agence et au courtier que nous ne souhaitons pas continuer. Le problème vient du fait que l'agence nous annonce que le notaire à dors et déjà reçu l'accord préalable de la banque et qu'en cas de rétractation nous devons 10% du montant de la maison soit 15 000€...Nous nous sentons pris au piège..
Que pouvons nous faire? Nous n'avons pas vu les closes et terme du prêt en question..

Merci beaucoup