Etre proprietaire mais ne pas vivre dans sa maison pour rénovatio

Bonjour, j'ai acheté une maison principale en juin 2011 et je ne vis pas encore dedans pour rénovation. Je suis logé chez mes parents en attendant la fin des travaux.
J'ai voulu déduire mes travaux d'isolation (fenêtres, isolation des combles, audit énergétique) mais les impôts refusent en prétextant que je ne vis pas dedans et considère ma maison comme une maison secondaire.
J'ai reçu une lettre 2120 qui me disait que je devais vivre dans ma maison au plus tard 6 mois après facturation des travaux. J'ai demandé un délai de 30 jours pour répondre et j'ai formulé ma réponse en disant que c'était après l'achèvement final des travaux. Je viens de recevoir une lettre 3926 qui me dit qu'ils ne prennent pas en compte ma requête.
Que dois-je faire? Demander une entrevue avec l'interlocuteur fiscal départemental? Ou me résigner à payer?