Nu-propriétaire abusif : quel recours juridique ?

Bonjour,
Au décès de mon père en 2004, ma mère (91 ans ) a fait donation de son appartement (dont elle conserve l'usufruit) à mon frère et moi-même. J'habite à 800 kms de chez elle et je suis indépendant financièrement, mais mon frère, sans emploi depuis 2003 et divorcé pour la 2ème fois, a élu domicile chez elle et exige qu'elle finance tous ses besoins. Il lui extorque de l'argent sous la menace et vole dans ses tiroirs, et l'assistante sociale (qu'elle a vue plusieurs fois) ne peut rien faire car elle n'ose pas lui dire la vérité par peur des représailles ! Le médecin expert consulté a refusé d'accéder à ma demande de placement sous curatelle car elle a bien "toute sa tête" même si elle est morte de trouille, et mes déplacements et disputes répétées avec mon frère n'ont abouti à rien car il s'estime "chez lui".
Que puis-je faire juridiquement parlant pour tenter de le déloger ? Il n'aide absolument pas ma mère dans sa vie quotidienne alors qu'atteinte de Macula, elle perd irrémédiablement la vue ! Il a 3 enfants sur place qui ne veulent plus entendre parler de lui et redoutent d'avoir à l'assumer au titre de l'obligation alimentaire...
Merci d'avance pour vos conseils qui seront les bienvenus !