Demande de permis de construire hor PLU

Bonjour
Je suis viticulteur et pour cette raison j'ai pu construire mon habitation hors du plan d'occupation des sol en 1999. Aujourd'hui pour des raisons personnelles, je change de métier et je vends ma maison qui est toujours hors du PLU. Les acheteurs ne sont pas agriculteur et souhaitent construire une piscine (36m²) et faire une extension de 45m². Mais la DDE du secteur leurs dit qu'il ne peuvent rien modifier car il sont hors PLU et non agriculteur.

Ma question est: es-ce vrai? Et sur quel article ce base se fonctionnaire pour dire cela.
Si c'est possible quel article peut-on lui opposer.

Car si je ne fais qu'observer autour de ma région, quantité de domaine agricole ont été vendu à des non agriculteur et ont pu être aménager sans problème.

Merci pour vos éclairage. Dernière modification : 04/03/2008