Refus de permis de construire

Avant le PLU, notre terrain était constructible et depuis que le PLU est approuvé, il a été classé en zone boisée à conserver alors que nous avons eu une autorisation de la DDAF de défricher ce terrain avec un paiement d'une indemnité compensatoire. D'ailleurs dans le procés verbal d'autorisation de défrichement, la DDAF précise que l'état du bois est médiocre et représente pas un impact important pour l'écosystème.

La DDE refuse le permis de construire car elle se base sur le PLU. Et le maire suit l'avis de la DDE.

Seulement, lorsque nous étions allé voir le maire pour savoir si le PLU allait changer quelque chose pour notre terrain (avant que le PLU ne soit arrêté), il nous a certifié que non. Si nous avions été averti nous aurions pu faire les démarches nécessaires en temps voulu.

De plus, notre futur acheteur est également allé voir le maire, il lui a dit la même chose, il lui a même montré l'ancien POS alors que le PLU venait d'être approuvé.

Quel sont nos recours ? ainsi que pour le futur acheteur qui a dèjà engagé des frais (géomêtre, architecte, banques...) ?
Merci de me répondre.