Dépassement de délai pour la signature de l'acte notarié

bonjour Madame, Monsieur,
j'ai signé un compromis de vente le 19/06/07 pour l'achat d'une maison. le 20/06/07, je faisais appel à un courtier qui, du fait du prêt à taux 0%, n'a pas su nous obtenir de prêt dans les délaiset décida donc de nous laisser tomber le 26/09/07, à 1 semaine de dépassement de la date butoire de signature. suite à cela, mon conjoint et moi-même avons cherché un prêt et il nous serait possible de signer le 25/10/07 sauf que, le 03/10/07, les vendeurs ont exigé de nous rencontrer chez leur notaire et nous ont réclamés pour les 14 jours de retard 5000 euros sous peine d'annuler la vente et de nous réclamer les 20000 euros ( 10% du montant du bien ) devant les tribunaux sans compter les 4000 euros de frais d'agence qui seraient également à notre charge !!
or, je voudrais savoir, si au regard de la loi, le vendeur était en droit d'exiger ces 5000 euros ? nous avons vraiment l'impression d'avoir été abusés par le courtier d'abord puis par le vendeur alors est-il possible de réclamer tout ou partie de cette somme de quelque maniére que ce soit ? d'autant que nous avons dû emprunter pour pouvoir les payer... nous sommes vraiment désespérés...
merci de nous répondre