Application du dispositif de robien remis en cause par les impots

Bonjour,
Je suis l'objet d'une procédure de rectification fiscale concernant des revenus fonciers des années 2005 à 2009 pour lesquels j'ai déduit un amortissement dans le cadre du dispositif “Robien”,
L'immeuble concerné est un ancien bâtiment d'exploitation transformé en 2 logements mis en location nue.
L'administration fiscale conteste mon droit à déduction au motif que j'ai acquis ce bâtiment en 1981et a décidé de procéder à la réintégration des amortissements pour les trois dernières années (2007, 2008, 2009) et me soumet un décompte provisoire s'élevant à près de 8000 euros que je devrais rembourser.
Or il se trouve qu'en 2005, j'avais été reçu, à ma demande, par un agent du centre des Impôts pour savoir si j'étais éligible au dispositif Robien, compte tenu que l'ampleur des travaux effectués.
En effet, lors d'une précédente consultation des mêmes services, au moment des travaux, ceux-ci m'avaient explicitement indiqués que ces travaux produisaient des logements équivalents à une construction neuve. En conséquence j'étais soumis à la TVA aux normal de 19,6%.
Lors de la deuxième consultation, l'agent qui m'a reçu, après avoir consulté son supérieur hiérarchique, m'a confirmé qu'on se trouvait dans le cas de la production d'un immeuble neuf et donc que je pouvais relever du dispositif de Robien.
A l'appui de son conseil, il m'a formulé par écrit (malheureusement sur papier libre non signé) la liste des documents à fournir et des règles à respecter. De plus il a rempli de sa main l'intégralité de la première déclaration des revenus fonciers (formulaire 2044 spéciale) en cochant l'option amortissement et allant jusqu'à souligner “Robien logement”, et inscrivant à la rubrique “Date acquisition de l'immeuble”: 1981.
Je suis donc complètement désemparé devant cette situation et considère que je suis victime d'un changement d'interprétation de l'administration fiscale.
J'ai essayé de faire valoir mon point de vue au cours d'un entretien avec le contrôleur qui instruit la rectification ainsi qu'auprès de son supérieur, et également auprès du conciliateur départemental. Tout en acceptant ma totale bonne foi, chacun me fournit la même réponse à savoir que la date d'acquisition me rendait inéligible au dispositif de Robien.
N'y a-t-il plus rien à tenter?
Merci de me donner conseil dès que possible.