Travail à l'étranger et fiscalité

Bonjour,
Je travaille depuis 2010 en Grande Bretagne, pour effectuer du montage industriel, mon employeur est basé en France et les cotisations sont versées en France. Je possède un domicile en France, et je touche par ailleurs une pension de source française. Pour la sécurité sociale, je suis considéré comme détaché.
Or, D'après le centre des impôts de Nantes, je suis non résident car mon épouse ne travaille pas et est avec moi en Grande Bretagne, donc, selon le contrôleur, je ne peux pas bénéficier de l'exonération partielle de mes revenus pour avoir travaillé plus de 183 jours.
Après avoir consulté différents ouvrages fiscaux, je ne comprends pas la décision prise par les services fiscaux de Nantes, et j'avoue être un peu perdu.
Pourriez-vous me dire quels sont mes droits, et si je dois dans ce cas payer mes impôts sur le revenu en Grande-Bretagne. je vous en remercie vivement par avance.
Krystye