Pose d'un portail : problème avec le voisin qui a une servitude

Bonjour,

Nous sommes propriétaires d'une maison qui possède une servitude de passage pour notre voisin (ancien propriétaire de notre maison actuel).

Lors de la signature chez le notaire il était prévu que ce dernier installe à sa charge un portail.

Seulement, il voulait installer ce portail en retrait et c'est interdit par la commune.
Nous nous sommes donc opposés à lui.
Il nous a alors demandé un portail de 3,5 à l'endroit autorisé mais nous ne voulons pas car si nous acceptons il aura un accord pour faire construire une deuxième maison !! ce qu'il nous a bien sur pas dit avant achat !!!

Le délai étant passé de deux ans nous avons décidé d'installer nous même le portail mais ce dernier nous pose des soucis et veut faire une demande de modofication de clôture auprès de la DDE (site protégé) alors que CEST NOUS LES PROPRIETAIRES !!

D'après son avocat, il pourrait faire jouer le fait que il a signer pour un passage de 4 m. Or sur le plan, l'emplacement du portail fait bien 3m : il a ommis de faire enlever les pilliers qui apparaissent dessus.

Quels sont ces droits réels alors que nous sommes propriétaires et que ce dernier n'a qu'une servitude de passage ?
Peut-il nous obliger à installer un portail plus grand ?

Merci de me répondre car nous n'en pouvons plus de cette situation qui dur depuis près de 3 ans.