Architecte des batiment de france

Bonjour, j'ai deposé il y a 1 an une demande de travaux pour poser de panneaux photovoltaiques. je suis dans le rayon d'un batiment de france et perimètre modifié. L'ABF à donc instruit la demande et s'en est suivi un refus de poser c'est panneaux sur mon toit( qui est à l'opposé au Bat classé), mais éventuellement les implantés à meme le sol dans mon jardin( ce qui remettait en cause l'obtention du crédit d'impot puisque les panneaux n'était plus intégrés. La raison invoqué était qu'ils était visibles depuis le Bat. Malgrés les sollicitations du maire et du député de ma circonscription l'ABF n'a pas changé d'avis. J'ai donc laissé tombé mon projet.
J'ai deposer il y a 5 mois un permis de construire pour agrandir mon habitation. J'ai obtenu mon permis. Mais en regardant l'avis des batiment de france j'ai bondit. En effet ce dernier nous informe que la construction n'étant pas visible le Bat, il n'a à donné son accord..... Cette construction est du coté du Bat, certe caché par d'autres maisons, mais au moins tout autant visible si ce n'est plus que l'aurait été les panneaux qui eux était prévus sur le toit opposé au batiment. Je trouve qu'il une contraction dans ses deux intructions. Et de plus j'ai perdu du temps et de l'argent car le photovoltaique était un investissement. Es-ce qu'un recours est possible ?