RECOURS GRACIEUX TIERS PERMIS DE CONSTRUIRE

Bonjour,
Nous avons reçu un recours des tiers suite à l’obtention de notre permis de construire concernant la servitude prévue à emprunter.
Le voisin conteste l’obtention de notre permis de construire car les voisins bordant sa servitude ont empiété sur cette route par la construction de leur murs d'enceinte,la largeur ne respecte plus celle requise par le PLU (passage des pompiers…) Ainsi il a engagé une procédure auprès de la mairie, préconisant l’accès à notre terrain par un autre chemin.
Evidemment notre compromis (et notre permis de construire) stipule que l’accès se ferait par sa servitude. L’ensemble des administrations n’étant pas informée des constructions des murs des habitants bordant celle-ci, qui engendre un rétrécissement du coup non conforme au PLU ont accepté notre permis.
Pourriez-vous m’indiquer si notre permis peut être annulé bien que nous ne soyons pas responsables ? Et des pistes de défenses (articles de lois ou autre ?)

bonjour,
à qui appartient la route ?
si cette route appartient à la commune, il lui appartient de faire respecter son droit de propriété.
salutations