Problême de succession / erreur du notaire?

Bonjour à tous, et merci d'avance à ceux qui pourront m'être d'une aide constructive.

Je vous explique mon problême: suite au décès de ma mère il y a 3 ans, j'ai été désigné comme unique héritier (elle était veuve et moi fils unique, majeur).
Le patrimoine comptait sa résidence principale (où je résidais également) qui m'a été transmis avec un abattement de 20%.
Je pécise que la succession a été réalisé par une étude notoriale et que je ne me suis occupé de rien, n'ayant pas les compétences ni la tête à ça.
Or je reçoit aujourd'hui une lettre avec AR des Imôts au sujet de cette résidence principale (dans laquelle j'habite toujours) m'informant d'un redressement énorme pour moi (pénalités de retard comprises) concernant l'abattement de 20%.
D'après les renseignements que j'ai pu trouver, il semble que cet abattement ne concerne que les enfants, mineurs ou non, protégés (cad sous tutelle ou curatelle si j'ai bien tout compris).
Depuis j'ai vu le notaire qui s'est occupé de la succession, et selon lui l'abattement de 20% était justifié à l'époque (fin 2004-début 2005) et le trésor publique avait pour habitude de "laisser faire", situation qui était en plein changement à l'époque de la succession selon ses dires.
Pour mémoire je rappelle qu'il s'agit de l'article 764 du code général des Impôts.
De mon côté je pense aller voir un avocat pour avoir des éclaircissements car toutes mes sources concernant cet abattement ne parlent que des enfants protégés ou handicapés, ce qui n'est pas mon cas.
J'apprécierai beaucoup que des personnes compétentes du forum puissent me donner leur opinion et conseil sur ma situation.