Résiliation de bail de la part du propriétaire

Bonjour,
Nous sommes propriétaires d'un appartement que nous avons loué à la même personne depuis 2003. Le contrat de location de départ était de 3 ans renouvelables par tacite reconduction d'un an avec possibilité de résilier avec 6 mois de préavis.
Notre fille qui va entrer à l'université a émis le souhait en Novembre dernier d'aller étudier à Lyon et donc de loger dans notre appartement.
Nous avons donc écrit avec AR à nos locataires pour leur signifier la fin du bail en novembre avec effet en Juin 2009. Le locataire nous a alors répondu qu'il quittait l'appartement plus tôt ( C'est á dire le 31 décembre 2008) ayant trouvé un appartement lui convenant. Il était dans son droit la résiliation étant demandée par nous les propriétaires.
Lors de l'état des lieux, j'ai constaté que l'appartement avait besoin de rénovations et ai donc demandé des devis á des professionels.
Entre temps, notre fille nous a dit que finalement elle pourrait éventuellement aller à Paris. N'ayant plus de locataire, nous avons décidé de mettre en vente ce logement le 16 Février.
Nous venons d'apprendre que notre ancien locataire intentait une action contre nous car nous ne l'avons pas informé de notre souhait de vendre.
Je précise que la décision de vendre a été prise en février et le contrat avec l'agence immobilière conclu pour cela le 16 Février alors que le locataire avait quitté les lieux depuis 1 mois et demi.
je ne comprends pas sa demande.
Pouvez vous me dire s'il a raison ? Merci d'avance.