Rétractation tardive, achat d'un immobilier en investissement loc

bonjour

je me suis lancé dans l'achat dun appartement en investissement locatif de Robien. c'est un conseiller en patrimoine indépendant, mandataire de IFB france,qui m'a proposé cet achat
jai signé le contrat de réservation, loffre de prêt. je n'ai rien versé au promoteur.
j'ai signé une procuration chez un notaire de Rouen, l'achat se faisant sur la region de Rennes avec un notaire à Rennes;
le lendemain de la signature de la procuration, je me suis desisté et j'nnule la vente.
je vais avoir quelques frais bancaire et de notaire.
le plus inquiètant, c'est que le conseiller en patrimoine me réclame 5% du prix du bien(136000 euros), soit un montant d'environ 6500 euros sous prétexte qu'il est allé jusqu'au bout de la vente et qu'il a effectué tout son travail.

est il dans son droit? puis je obtenir une baisse de cette somme, étant prèt à le dédommager?

merci de vos conseil