Imposition Revenus - Pacs - Suisse

Bonjour, je me permets de me connecter sur ce site car j'ai une question relative à ma situation et aux impôts sur le revenu que je paye.
Je suis pacsé depuis septembre 2009, mon conjoint travaille sur le territoire suisse, Canton de Genève, et moi sur le territoire français.
Pour des raisons professionnelles, je suis amené à travailler hors de mon domicile conjuguale basé en Haute Savoie, et réside donc principement sur Poitiers où j'exerce mon métier depuis Août 2011.
Jusqu'à l'année dernière, je n'avais pas constaté d'augmentation importante de mes impôts sur le revenu. Je dis mes impôts car même si nous faisons une déclaration commune, mon ami paye ses impôts directement à la source et a donc un crédit d'impôt sur la notre.
Toutefois, bien que mes revenus n'aient pas augmenté, j'ai eu une hausse de 750 euros sur mes impôts au titre que les revenus de mon conjoint perçus en Suisse ont été plus élevés. Le crédit d'impôt qu'il a est inférieur à l'impôt qu'il devrait payer si ses revenus étaient touchés sur le territoire français.
Est il possible de faire une déclaration distincte étant donné que mon lieu de résidence est principalement basée sur Poitiers et non à l'adresse commune, afin que je paye réellement l'impôt qui correspond à mes revenus seuls ? J'ai contacté les impôts qui m'ont parlé d'une règle de calcul. Le calcul est ainsi fait : (Montant impôt brut x (Revenu Net Suisse / Revenu brut global) qui donne un crédit d'impot inférieur à l'impôt théoriquement à payer si mon conjoint déclarait en France.
Je reste à votre écoute si des compléments d'information sont nécessaires.
Par avance, merci pour votre aide.
Frederic