Refus de prorogation d'un pret immobilier

Bonjour,
En raison de mauvais rapport avec mon conseiller bancaire, ma demande de prorogation de validité d'offre de pret va être refusée. le permis de construire que j'ai déposé rapidement tarde a venir ,le temps necessaire est de 6 mois car il est classé en batiment de france.
Dans ce cas la, puis je recuperer ma caution et acompte chez le notaire et le constructeur?dois je refaire une autre demande de prêt sachant que les conditions ne seront plus les même car le ptz n'est plus doublé, et je refuse d'acheter avec des mensualités qui ne sont pas celle du compromis de vente.
Merci de votre aide.