Autorisation de prélèvement sur compte bancaire

Je suis client à la société Fidem (crédit conso), j'ai eu mon conseille Fidem au téléphone il y a 3 mois car je ne peux plus payer mes mensualités car elles sont trop élevées, je me suis donc retrouvé en recouvrement, hors au mis de juin j'ai changé de compte en banque et j'en ai fait part à mon conseiller Fidem qui a insisté pour que je lui donne mon nouveau numéro de compte bancaire, ce que j'ai fait pour ne pas envenimer la sitution, mais je n'ai envoyé ni RIB ni autorisation de prélèvement que ce soit à FIDEM ou à ma Banque, et je viens de m'apercevoir en recevant mon relevé bancaire que FIDEM avait tenté de prélevé sur mon compte 3 mensualités de 235€ chacune, bien sur je n'avais pas cette somme et ma banque a refusé pour "solde insuffisant" ce qui m'a couté jusqu'à aujourd'hui 120 euros de frais de rejet de prélèvement. Ont-ils le droit d'aller tenter un prélèvement sans autorisation signée et sans RIB envoyé ? et la banque a t-elle le droit de me facturer ces frais alors qu'elle n'a pas non plus d'autorisation ? que puis-je faire contre Fidem et ma banque ? Merci d'avance pour votre réponse