Lotir et bâtir un terrain agricole appartenant à un maire

En début de mandat notre maire a acheté des terrains agricoles dont personne ne voulait à l'époque, mi-boisés et en lisière de bourg. A ce jour le bourg est classé depuis 2 ans. Le maire est en train de lotir un des terrains qu'il a achetés en 2001, ce qui leur a d'abord fait perdre leur aspect paysager. Il envisage pour son prochain mandat de construire sur le second terrain un bâtiment communal. Le premier terrain sera divisé en trois parcelles, qui sont à vendre au prix du terrain à bâtir. Le CU est accordé, avec de nombreuses restrictions dues à l'environnement exceptionnel. Notre commune comprend moins de 200 habitants. L'établissement du PLU a été différé l'année dernière jusqu'au prochain mandat. Qui peut accorder le Permis de construire pour que le maire ne puisse être accusé de prise illégale d'intérêt ? Est-ce possible ?