Vie privée, atteinte ou pas?

Bonjour,
séparé de mon ex-compagne depuis fin 2008, nous avons ensemble un enfant âgé maintenant (en 2010) de 7 ans. D'un commun accord, nous avons décidé que notre enfant vive avec sa maman, ce malgré la distance car nous ne sommes pas en résidence respective dans le même département.
Depuis plusieurs mois, j'ai refais ma vie.
L'homme dont s'est séparé la femme qui partage ma vie dorénavant cherche à me nuire au maximum pour tenter de récupérer sa femme. Notamment, j'ai appris qu'il envisage d'aller passer ses vacances dans le département où réside mon ex-compagne et mon fils pour tenter d'obtenir des éléments sur moi.
Bien que n'ayant rien à me reprocher mais ne désirant pas que cet individu puisse s'approcher de mon fils surtout et qu'il perturbe la vie qu'il mène avec sa mère, je me pose la question de se que je peux faire légalement pour calmer cet homme. Est-ce que porter plainte et si oui quel type de plainte (genre atteinte à la vie privée ou familiale car je ne sais exactement les termes) est possible?
Merci de vos réponses.
Bien à vous.