Permis de contruire et batiments de france

bonjour, nous avons recu le 18 octobre passe, l'accord pour le permis de construire d un abri pour animaux. L ouverture de chantier est en mairie en date du 20 octobre. Nous avons commence les travaux il y a une quinzaine de jour. nous sommes aujourd'hui a mis chantier. hier le 6 decembre notre voisin (environ 300m sans visibilite directe) vient de nous annoncer qu il est inscrit aux monument de france et il a demande au maire de stopper les travaux car le dossier de permis de construire n a pas ete transfere au service des batiments de france par la commune. Nous n en savions rien. L erreur a ete commise par la mairie lorsqu ils ont dispatcher les dossier (DDE,..) Nous avons reçu notre autarisation de construire. Cela nous a occasionne des frais, et des accomptes pour les commandes de materiaux ont ete verse. De plus nos animaux doivent arriver dans une quizaine de jours et nous n avons rien pour les abriter sauf ce batiment que nous sommes en train de batir. La secretaire de mairie qui a instruit le dossier reconnait son erreur, elle a donc envoye le dossier de permis de construire aux batiments de france hier. Que devons nous faire? Respecter la demande d arret des travaux, ou tenir compte de notre autorisation de travaux? Quels sont nos recours? Combien de temps cela peut il durer? La mairie doit elle nous trouver une solution pour les animaux?