Demande de travaux non déposée dans les temps et chantier débuté

Bonjour,
J'ai fait l'acquisition d'une maison que j'ai décidé d’agrandir. Le problème est que j'ai commencé mes travaux sans les déclarer, non pas que je ne voulais pas le faire mais plus par négligence et urgence de la situation!
Les voisins n'ont rien dit et dernièrement ils ont avisé la mairie et ils ont fait appeler un avocat, alors que je suis en train de déposer mon dossier, pour le maire aucun problème à régulariser.

Que pensez-vous? jusqu'où mes voisins peuvent aller ? sachant que le maire ne veut pas me démonter ma construction.

Merci de prendre le temps de me répondre.