Différence entre compromis et acte de vente

J'ai acheté un viager juin 2006, une maison avec 3 appartements.
Un appartemnet est occupé par le viager le 2 ème par un locataire qui verse ses loyers au viager et le 3 ème occupé par moi même.
Avnat le compromis, j'ai occupé ce logement et payé mes loyers, hors au moment du compromis il a été bien stipulé par notaitre que je ne paierai plus de loyer après que la vente soit effective, que pour lui (le viager) cette somme serait remplacée par la rente mensuelle.
Hors comme le notaire ne l'a pas reprécisé dans l'acte de vente, le viager me fait payer loyer + rente.
Ai-je un recours ?
Merci de votre réponse.