Conflit dans le temps de travail

Bonjour,
je suis gardien dans une commune logé par nécessité absolue de service, mon contrat prévois d'effectuer 1272 h de travail effectif et 1272 h de gardiennage soit 2544 h sur 212 jours (décret n°2002-813 du 3 mai 2002 art 2). Mon amplitude horaire va de 13 h à 01 heure.
Étant le seul agent dans l'établissement après 18 heures le soir, je suis obligé d’être sur mon lieu de travail pour répondre aux sollicitations des usagers ou de m'avancer dans mon travail (entretien des locaux) le temps que les activités ou les réunions se termine (23 h en semaine et entre 00h et 02 h le week end voir plus des fois).
Le conflit porte sur ce temps d'attente (fin d'activité) pour commencer mon entretien. Ce temps d'attente n'est pas comptabilisé dans le travail effectif mais dans le gardiennage et donc non rémunéré ni récupérer. cela dure depuis 4 ans et j'ai accumulé plus de 800 heures qui soit disant correspondent à du gardiennage. Après avoir écrit au RH pour lui faire part de mon désaccord, j'ai été convoqué en Mairie ils m'ont expliquer que le gardiennage sur mon lieu de travail compensait l'appartement donc non rémunérer. Et surtout pour me dire comme je suis en opposition avec ce contrat alors je devais quitté mon appartement avant le 01 janvier 2013 tout en conservant mon emploi dans le même service.
j'aimerai avoir un avis de votre part et savoir si cela est légale
merci d'avance