Frais de remboursement anticipé !

Bonjour,
Je viens d'acheter un bien immobilier. J'ai un crédit immobilier en cours. Je vais donc avoir des frais d'anticipation de remboursement de ce prêt.
Seulement pour racheter, j'ai souscris un prêt dans cette même banque.
Le problème c'est que je ne peux pas payer ces frais de remboursement anticipé.
Cette banque me propose donc de reprendre un crédit à la consommation (cette fois) pour que je puisse payer les frais de remboursement anticipé du premier crédit !

ma question : ont-ils le droit, ai-je un recours pour refuser de payer ces frais. Si oui lequel.
MERCI de votre aide.