Credit immobilier accepté puis refusé

Bonjour,

Nous sommes en train d'acheter une grange foraine rénovée en habitation principale sans permis de construire de la dde mais avec un permis de la mairie.
La banque est au courant de cela depuis le début grace au sous-seing que nous avons signé il y'a un mois et demi et nous a donné l'accord pour le pret sous forme de lettre et aussi en encaissant le chèque d'expertise(qui n'était encaissable que si le pret etait accordé).
Hier par téléphone il ne voulait plus nous faire le pret car il n'y avait pas de permis.
Ont ils le droit sachant que nous avons envoyé la lettre recommandée pour mettre fin à notre location avec leur accord?