Permis de demolir refusé sur un site classé

Bonjour,

nous sommes sur un site protegé ( pres d'une eglise 200 m )

notre maison date de 1867 et nous avons detruit un escalier en pierre sur la facade avant qui a été construit a la separation en 2 de la maison pour acceder a l'etage .
nous avions commencer la demolition sans faire de permis car nous ne savions pas que la maison été protégée
nous l'avons demonté parceque toute la partie suspendue menacait de tomber (video et photos a l'appui ) et l'eau s'infiltrait au travers des pierres .

le maire nous a demandé de regularisé la situation en faisant un permis de demolir , nous avons été voir les architectes des batiments de france qui nous ont donné leur accord verbal et que n'étant pas d'origine a la maison il ne pourrait etre demandé de le remonter

apres l'avoir entierement demolit nous avons recu un refus du permis de demolir !!!

ils nous demandent de le remonter a l'identique
nous n'avons pas les moyens de le faire remonter !!
de plus le maire a porté plainte contre nous pour avoir fait des travaux sans permis

que faire ?

merci de votre avis