Compromis de vente et acte de vente d'un viager

Nous avons signé un compromis de vente en février 2006 pour une maison en viager qui comporte 3 appartements.
Un des appartement étant vide, nous voulions l'occuper, donc nous avons signé un bail de location de 3 ans.
L'autre est occupé par le viager lui même et le 3ième par un locataire qui paie ses loyers au viager.
En juin 2006 la vente en viager s'est concrétisée.
Sur l'acte de compromis de vente il est bien précisé que nous occuperions l'appartement gratuitement dès l'instant ou nous paierons la rente viagère.
Hors dans l'acte de vente ce paragraphe précis n'est plus stipuler et le viager veut continuer de recevoir le loyer ainsi que la rente.
Ai-je un recours quelconque et le notaire qui a écrit l'acte de vente a-t-il fait une erreur ?
Merci pour vos réponses