Utilisation d'un terrain non constructible classé nd

J'ai 3 ha de terrain classé ND dans les dispositions applicables à la zone ND est dit :
Ne sont admises que :
Les constructions et autres occupations du sol destinées à l'exploitation, la surveillance et la sécurité des forêts.
....
Un bâtiment anciennement une magnanerie puis une ferme se trouve sur se terrain.
J'ai voulu faire 5 chambres d'hôtes cela m'a était refusé car il fallait faire un changement de destination donc un permis de construire. N'étant en zone constructible je n'ai pu le faire.

Qu'est ce que je peux faire pour utiliser ce bâtiment et cet espace. Je suis prêt à devenir agriculteur si il le faut?
l'idée c'est de faire un jardin potager bio.
Merci de votre réponse