Droit de passage et servitude

bonjour à tous,

voici la situation, j'ai acheté une propriété il y a 3 ans maintenant, mon voisin a un droit de passage devant chez moi, qu'il n'a jamais exercés en trois ans, car il passe par une autre parcelle dont il a fait l'acquisition il y a quatre ans, et dont il en a était le propriétaire en nom propre pendant 10 mois, avant de la cédé a une SCI dont il en est le dirigeant.

Avec ma femme nous lui avons fait une proposition d'échange d'un droit de passage que nous avons chez lui contre le droit de passage qu'il à devant chez nous.
Depuis c'est la guerre car ce brave monsieur veut le beurre et l'argent du beurre, il repasse donc devant la maison quand bon lui semble et roule dangereusement pour nous ennuyer.

la servitude est une servitude légale.

ma question est comment faire pour faire disparaître cette servitude étant donner qu'il ce cache derrière le faite que l'autre parcelle par laquelle il passe est à la SCI et donc ce n'est pas lui mais une personne moral.