Proposition de rectification: calcul du quotient familial

Bonjour,
L'inspection des impots envisage de ramener mon nombre de part de 1.5 à 1 suite à une déclaration d'impots erronné:
- Mon enfant est née en 2004 et est depuis 2005 à la charge de sa mère suite à notre séparation (nous étions concubins).
- Dans ma déclaration de revenus de 2005, j'ai modifié le nombre d'enfant à ma charge et ai mis 0 (zéro), par contre, dans les "Situations particulières" j'ai coché la case E (vous vivez seul et vos enfants (majeurs ou mariés; mineurs imposés en leur nom propre) ne sont pas comptés à votre charge. J'ai ajouté dans la case associée (case H l'année de naissance de mon enfant (2004)).

J'avais rempli ces cases en tout bonne conscience et sans aucune intention de bénéficier d'avantages inadéquats. Je pensais que l'administration fiscale ne m'octroyait aucun avantage indu d'autant qu'en 2006 et 2007 ma déclaration préremplie reprenait ces informations (j'ai fait mes déclarations par Internet).

Apparemment, j'ai fait une erreur en cochant cette case E puisque mon enfant n'est pas majeur ni imposé distinctement. L'administration fiscale ne s'est pas aperçue de cette erreur que récemment et me réclame pour rectifier cette erreur plus de 1200€ plus des majorations de retard pour les IR de 2006 et 2007 (mais pas pour l'IR de 2005).

Après m'être un peu documenté, je comprends parfaitement que mon quotient familial était incorrect. Cependant, je ressens ceci comme injuste puisque l'administration fiscale n'a pas détecté cette erreur depuis deux ans (il est évident que mon enfant n'était ni majeur ni mineur imposé en son nom propre puisque né en 2004); ma situation actuelle fait que j'aurai des difficultés à payer.

Quels sont mes recours ?

Puis-je faire annuler ou reporter cette décision (aucun vice de forme n'est à constater concernant la propostion de rectification) ?

Puis-je demander ou espérer une quelconque indulgence de la part de la direction générale des impôts en arguant de ma bonne foi ?

Merci d'avance pour vos réponses