Annulation d'un compromis de vente

Mon mari et moi avons signé un compromis de vente pour un terrain il y a 3 semaines. Dans la première semaine (le délai de réflexion légal de 7 jours) nous avons renvoyé un courrier recommandé à l’agence en leur disant que nous n’étions pas d’accord avec la clause suspensive, à savoir que nous souhaitons acheter ce terrain sans avoir demander le permis d’urbanisme au préalable. Au fait, la vente de se terrain devait se faire à condition que nous obtiendrions un permis d’urbanisme pour construire une maison que nous voulons et d’obtention d’un prêt pour le faire. Mais comme nous n’avons jamais trouvé de constructeur qui serait d’accord de travailler avec nous sans que nous soyons les propriétaires du terrain donc nous avons été obligés de renoncer à cette clause.
L’agence a accepté d’ajouter une page au compromis qui devra annuler la clause suspensive.
Actuellement nous attendons de recevoir leur courrier pour le signer.

Etre temps, nous décidons de nous séparer et mon mari dit ne plus vouloir d’acheter ce terrain. J’imagine qu’il est déjà trop tard d’informer l’agence que nous renonçons à l’achat sans être pénalisé. Donc je crois que la seule solution qu’il me reste c’est d’acheter ce terrain seule même si je n’ai aucune envie et ensuite essayer de le vendre. Mais le problème est que le premier compromis nous avons signé à deux et maintenant il va falloir faire un nouveau ? Est-ce que c’est des frais en plus ? Pouvez-vous me conseiller quelle sera la meilleure solution pour perdre le moins d'argent possible ?

P.S. J’ai oublié de préciser que l’acquisition du terrain doit se faire par mes deniers personnels.