Restriction de visite en maison de retraite

Bonjour,
Mon papa est atteint de la maladie d'alzeimer alors sur les recommandations du médecin nous avons décider de le placer sous tutelle. Nous rencontrons de gros problème avec la famille de sa compagne (avec qui il ne s'est jamais déclaré!) car en plus d'avoir profiter de ses moyens financier elles lui font du harcèlement moral au sujet de notre famille lui disant un tas de choses fausse sur notre compte du genre qu'on est des imbéciles des bon à rien ou un tas de grossièretés...
Mon père est très fragile et pour le préserver nous souhaiterions interdire les visites de ces personnes afin qu'il trouve la paix!! Il doit rentré en maison de retraite dès sa sortie de clinique.
Mais a-t-on le droit d'interdire les visites de ces personnes dans la maison de retraite? (En tout cas je l'espère sinon nous devrons l'éloigner de ces personneset nos visites risquent d'être moins évidante!)
Merci d'avance pour votre réponse!!