Que faire pour notre achat

Nous avons signé un compromis de vente fin septembre et avons finalisé nos accord de pret (date de confirmation de vente dépassée).
Notre notaire nous a convoqué pour nous informer que le propriétaire était venu lui annoncer que la surface declarée pour la maison n'était pas conforme à la construction initiale (90m2) et que tous les travaux (extensions à 147m2) avaient été effectués sans permis de construire.
Aujourd'hui nous savons que les 10 ans sont dépassés par rapport aux dates de fin de la totalité des travaux.Nous aimerions exiger du vendeur :un permis de régularisation, des plans conformes et signés ? le pouvons nous ? Est-ce que le defaut de presentation de ces documents peut-être une clause d'annulation de l'achat ? Peut-on faire reviser le prix de vente ? Le notaire (commun) dit qu'il ne vaut mieux pas en faire la demande car elle risque d'être refusée par la DDE. Cela devient génant pour nous car cela veut dire que nous ne pourrons jamais realiser d'extension.....
Comment faire au mieux pour avoir des documents légaux qui correspondent à la réalité du bien que nous sommes désireux d'acheter car côté de cela pour les impots le vendeur souhaite faire une régularisaiton donc je ne trouverais pas normal de payer des impot si nous n'avons pas de permis correspond.
Merci pour vos précieux conseils.