Construction d'une annexe en lotissement

Bonjour,

Voilà mon soucis.
Je souhaiterai construire une annexe (garage) dans la zone des 4m qui séparent ma maison du terrain voisin.

Or à la mairie on me dit que ce n'est pas possible car le terrain voisin fait partie d'un autre lotissement et qu'aucune annexe ne peut être construite dans les limites séparatives de deux lotissements voisins.

Là où c'est abérent c'est que les 2 lotissements sont alignés et se suivent de la mm manière:
4m-Maison-Annexe-4m-Maison-Annexe... sauf que lorsqu'arrive à ma maison au milieu je ne peux pas construire l'annexe car elle jouxte un autre lotissement...
Bien entendu, une fois passé au lotissement voisin ça repart de plus belle 4m-Maison-Annexe-4m-Maison-Annexe... C'est rigolo non?

La cerise sur le gâteau c'est que mes voisins de derriere (lotissement différent)qui sont dans le même cas que moi ont pu construire leur garage contre mon terrain car la mairie s'est trompée et leur a accordé le permis de construire...

Ainsi, y aurait il une quelconque possibilité pour moi d'argumenter la constructuion de cette annexe?

Merci à vous des réponses ou éléments que vous pourrez bien m'apprter..
Bonne journée