Abus de l'exploitant d'un bail à la ferme

Bonjour,
Depuis le décès de nos parents en 2007 et 2008, nous poursuivons la locations d'une ferme à un jeune exploitant qui jusqu'au mois de Mars 2011, louait également la maison d'habitation. Il a donné son préavis de départ fin décembre 2010, en souhaitant acheter la maison (environ 150m²) + terrain pour 80 000€, alors qu'elle était estimée 130 000€. Nous n'avons pas réussi à nous mettre d'accord sur un prix (notre dernière offre était de 110 000€ : refusée). Nous avons donc mis la maison en vente, indépendamment de la ferme, sachant qu'il faisait tout pour la dévaloriser (il n'a jamais entretenu l'extérieur et a laissé l'humidité et les rongeurs s'installer...).
Nous avons des acheteurs potentiels sûrs et très intéressés, nous mettons donc en place les démarches de séparations de compteurs (EDF et Eau), nouveau bornage et proposition de solutions pour l'accès à la ferme avec de grosses machines qui ne pourront plus passer devant la maison lorsqu'elle sera vendue.
L'exploitant, de très mauvaise foi et vexé de ne pas avoir obtenu ce qu'il voulait, refuse, également devant notaires, toutes les propositions d'aménagement que nous proposons, et qui nous prendrons entièrement à notre charge !!!
Il ment sur ses besoins en surface de stockage de fourrage et de bétail, sur les accords verbaux qui ont été soit-disant effectués avec notre père décédé, qui n'est plus là pour se défendre.
Nous sommes dans une impasse car son entêtement fait entrave à la vente de la maison car notre notaire veut que tout soit réglé avant la signature d'1 compromis, ce qui paraît logique.
Nous craignons que les acheteurs (qui font partie de notre famille) perdent patience.
Depuis le début nous sommes plus que conciliants envers l'exploitant qui nous règle les fermages avec plusieurs mois de retards, qui n'a pas encore libéré toutes les pièces de la maison qu'il louait...
Peut-on mettre fin à son bail (date de fin Avril 2013) ou le contraindre d'accepter les travaux proposés (nous amputons un hangar en contrepartie d'un autre situé à - de 10m,+ empièrement et ce pour permettre le passage et l'accès de la ferme aux grosses machines (ce qui reste exceptionnel !!!)).

Il prend un malin plaisir à nous ridiculiser, il se cache derrière le bail à la ferme qui est très protecteur vis-à-vis des exploitants.
Notre notaire, lui-même, est dépité : autant d'acharnement à refuser toute proposition.
Merci de bien vouloir me répondre par mail ou par téléphone au 06.79.63.94.17

Vue la situation, il ne vous reste plus qu'à prendre un avocat afin de lui faire lire tous les documents que vous avez, voir les plans etc. et assignez votre locataire (ça risque de prendre des années pour arriver au bout de la procédure)