Impôts et résidence alternée

Bonjour, je suis divorcé depuis mai 2003 et père de 2 enfants de ce premier mariage. Avec mon ex-épouse, nous avons choisi la résidence alternée pour nos enfants et je verse une pension alimentaire. A l'époque du jugement de divorce, la résidence alternée n'était pas, il me semble me souvenir, prévue par les impôts. Nous nous sommes donc basés pour nos déclarations sur le jugement qui stipule : "Fiscalement, chacun des parents déclarera un enfant à charge. Monsieur bénéficiera de la demi-part supplémentaire pour le parent élevant seul les enfants (ce dernier point n'est plus d'actualité car je me suis remarié depuis)".
Me basant donc sur ce jugement, je ne déclare pas la résidence alternée mais un enfant à charge et la pension alimentaire. J'ai continué de déclarer de cette manière bien que les déclarations d'impôts ont par la suite intégré cette situation de résidence alternée. En effet, je comprenais que le jugement justifiait et imposait la déclaration telle qu'il la définit.
Cependant, certaines personnes de mon entourage attirent désormais mon attention sur le fait que, en définitive, la réglementation des Impôts est au-dessus du jugement de divorce et que je suis donc dans l'obligation de déclarer mes 2 enfants en résidence alternée et je n'ai, par conséquent, pas le droit de déclarer la pension alimentaire. D'autres personnes m'ont par contre laissé entendre que j'aurais le droit de choisir entre déclarer la résidence alternée ou déclarer selon les termes du jugement, dans la mesure où je choisis de bénéficier d'un avantage au lieu d'un autre : soit les 2 enfants en résidence alternée mais pas de déclaration de pension alimentaire dans ce cas, soit un enfant à charge (cf jugement) avec déclaration de la pension.
Auriez-vous une réponse claire sur cette situation ? Merci et bien cordialement.