Déclaration de travaux validée en 2000 et remise en cause en 2011

Bonjour,
Début 2000, j'ai déposé à la Mairie de mon domicile une déclaration de travaux pour l'édification d'un mur de clôture avec ouverture sur voie communale. Cette déclaration était accompagnée d'un plan descriptif des travaux à effectuer. Etaient donc représentés sur ce plan une clôture et un portail de trois mètres de largeur.
Le 11 février 2000, la Mairie de mon domicile m'a remis un arrêté m'indiquant que l'autorisation sollicitée est accordée. Les travaux ont été effectués et depuis j'utilise mon portail de sortie de voiture pour accéder à la voie communale. Cela fait environ dix ans que j'utilise cet accès.
J'ai été convoqué récemment par Monsieur le Maire de la commune qui me dit qu'il pourrait remettre en cause l'existence de mon portail car il a un projet de création de parking qui annulerait ma sortie de voiture. Il m'a précisé que l'arrêté favorable qui avait été rendu pour la création de mon portail n'avait pas de valeur définitive et que ce n'était qu'un simple accord de gré à gré entre deux particuliers puisque selon lui la voie communale qui dessert mon domicile appartient au domaine privé de la commune.
Les arguments du Maire sont-ils juridiquement valables, sachant que je n'ai eu qu'un entretien verbal avec lui ?
Quelle attitude dois-je avoir : attendre ou anticiper les démarches et dans ce cas quelles démarches dois-je entreprendre ?
Merci pour votre aide