Accusation d'abus de personne

bonjour,
il y a quelques mois mon fiancé a fait la connaissance d'un homme de 90 ans par le biais de son travail (il est ambulancier).il s'est fortement attaché a cette personne et moi aussi par le biais des conversations que me racontait jo (mon fiancé). ils sont devenu même presque amis, et je lui ai même tenu compagnie une fois a l hôpital quand il s est fait opéré des dents. Jo lui rendait beaucoup de services, s occupait de son jardin, l'a aidé a déménagé, fait quelques travaux..... il l'appelais même papy... Un jour, alors qu'il savait que je voulais monter ma petite affaire, il nous a proposé de nous donner de l'argent pour nous aider a démarrer, nous avons refusé, un peu gêné par sa demarche....il a insisté en nous expliquant qu'il avait de l'argent et qu'il préférait en faire profiter des gens comme nous que les gens "indignes" de sa famille.... nous avons fini par accepter.... 4000€, voila un magnifique cadeau....
Les mois on passé, plus beaucoup de nouvelles, et aujourd hui il nous appelle énervé en nous disant qu'il veut son argent et que nous sommes des profiteurs, menace de déclarer un "abus de faiblesse"!!!!! nous n'avons aucun moyen de le rembourser, et nous sommes sous le choc, on ne le reconnait plus, et lui, ne veut plus nous voir......
Que faire?