Litiges sur servitude de passage et clôtures de terrain

Bonjour, j'ai signé un compromis de vente pour l'achat d'une maison et d'un terrain comprenant une servitude de passage pour mon voisin. Servitude concédée suite à un acte notarial, qui lui donne le libre passage à pied ou à véhicules. Il a également une servitude en sous-sol pour les canalisations (edf, etc.). Ce voisin a acheté sa maison clé en main au même promoteur. Je viens de découvrir deux pb à la lecture du projet d'acte du notaire.
1) le promoteur a mis en place un portail sur ma propriété et non à la limite de propriété du voisin, ce qui m'empêche l'accès à la servitude de passage. Je ne peux donc aller chez moi librement car le voisin ne veut pas me donner les clés du portail prétextant que c'est le sien. Noter que le portail n'apparaît nullement sur les plans fournis par le promoteur.
2) En tant que fonds servant, je découvre que j'ai l'entretien de la servitude ! Etonnant, comment pourrais-je entretenir un chemin auquel je n'ai pas accès ?
Finalement, j'ai acheté un terrain virtuel, j'ai tous les inconvénients (payer le foncier, les assurances, entretien) et je n'en ai pas l'usufruit, ni mes enfants.
J'ai contacté mon voisin en lui expliquant le pb mais il ne veut rien savoir, prétextant que la faute vient du promoteur et qu'il a fait un acte lui autorisant à mettre son portail sur ma propriété car il a accepté au lieu d'une servitude de 4m de large, une servitude uniquement de 3m de large !
Sur le projet du notaire, aucune trace de cet accord.
J'ai expliqué à mon voisin qu'il ne pouvait pas m'empêcher de rentrer sur mon terrain, que je pouvais l'emprunter car un jour je peux très bien ouvrir un portail sur le chemin pour pouvoir accéder à l'arrière de mon terrain ou bien faire passer des engins pour y construire une piscine, ou bien mes enfants ont le droit de jouer, etc. (sans bien sûr entraver le passage).
Il n'est pas d'accord et me dit même utiliser ce chemin pour garer ces véhicules le soir.
Je lui ai dit qu'il s'agissait uniquement d'un droit de passage et qu'il n'avait pas le droit de parquer ces véhicules, mais pour lui "passage" peut avoir des significations bien plus larges que ce que l’on pense....
Dérouté, j'ai demandé à mon notaire d'obtenir les actes de propriétés du voisin afin de m'assurer que la servitude m'appartient et afin de controler s'il y a eu accord ou pas sous seing privé ? Merci de m'indiquer les démarches autres à effectuer auprès du promoteur, notaire, voisin et le cadre juridique.