Mon propriétaire veut récupérer la moitié du terrain que je loue

Bonjour,
Je loue actuellement une petite maison de 60m² sur un terrain de 2300m². C'est surtout pour le terrain que j'ai loué cette maison (loyer 617 euros!) alors que la maison présente de gros problèmes d'humidité et d'isolation. Dans le contrat de bail, le propriétaire a ajouté la clause suivante concernant le terrain: "le propriétaire se réserve le droit de récupérer 1000m² environ" sans préciser à quel usage c'est destiné. Aujourd'hui je sais que le propriétaire a l'intention de faire construire une maison dans le fond de mon terrain et qu'au final il va récupérer bien plus que 1000m². Je trouve cette clause abusive car la nature du bien que je loue en sera changée, et du fait des désagréements qui seront causés notamment par les travaux etc...
Actuellement, sans jamais me tenir informée des projets à venir, mon propriétaire vient régulièrement chez moi pour mesurer le terrain, fait passer la société des eaux pour effectuer des sondages, et autres soupçons de démarches visant à commencer les travaux.
Quels sont les recours dont je pourrait disposer? Quelles sont les démarches à suivre pour les mettre en oeuvre? Et surtout, dans ce cadre, est-ce que cette clause est abusive?
D'avance un grand merci pour votre aide.