Abus de confiance par mon banquier

Bonjour,
J'ai négocié en 2003 avec ma banque un prêt immobilier sans frais en cas de remboursement anticipé. Je n'ai jamais reçu l'avenant écrit. Mon conseiller ayant été remplacé il y a 2 ans, j'ai rappelé ce fait à son successeur. Il m'a annoncée une pénalité "symbolique" de 50€. Encore une fois je n'en ai jamais reçu de preuve écrite. Décidée à enfin avoir cet avenant dans les mains, il m'a annoncé aujourd'hui que cette pénalité s'élèvera en fait à 300€. Quel recours puis-je envisager?
D'avance je vous remercie pour tout conseil de votre part,
Cordialement,

C.LIAGRE