Parent isolé et résidence alternée

Bonjour,
En 2004, notre convention de divorce stipule que « nous avons nos 2 enfants en résidence alternée. Que je bénéficie des avantages sociaux liés à la résidence des deux enfants à mon domicile. Et qu’ils sont rattachés aux deux foyers fiscaux, le quotient familial étant réparti équitablement. »
l'avocate nous conseille par contre de nous déclarer fiscalement parents isolés, avec chacun un enfant à charge.
Oubli de ma part ou erreur de la CAF, le divorce n’a jamais été enregistré et je perçois des allocations pour les deux enfants à charge de 2004 à 2010. Je ne pense pas être en tort puisque les allocations pour les 2 enfants me sont de toutes façons attribuées dans la convention.
En mai 2010, mon ex fait une demande de RSA et déclare à la CAF que nous sommes séparés de fait (allez savoir pourquoi) depuis février 2010 avec un seul enfant à charge chacun (pour être conforme avec les impôts je pense).
En mai 2010, je reçois une déclaration de la CAF disant que j’étais séparée et que de ce fait, je n’avais plus droit à rien.
Je n’ai pas bougé depuis de peur d’être obligée de rembourser qq chose.
Aujourd’hui je suis dans une situation très difficile qui m’oblige à demander le rsa et donc à rectifier la situation décrite par mon ex (divorcée et non séparée de fait) mais je crains qu’en lieu et place d’une aide cela me crée plutôt des ennuis…
Pouvons nous légalement être parent isolés avec 1 enfant à charge sur le plan fiscal et se déclarer à la CAF en résidence alternée avec les avantages sociaux pour moi comme le stipule la convention ?
Peut-on me réclamer un trop perçu de 2004 à 2010, sachant pourtant que nous étions bien en résidence alternée avec 2 enfants à charge (même si fiscalement déclarés parents isolés) ?
Quelles sont les autres conséquences (pour mon ex par exemple) si je rectifie la situation et me déclare avec 2 enfants à charge en résidence alternée depuis 2004 ?
Enfin, si je ne rétablis pas les faits, puis-je être pénalisée en terme de retraite puisque je n’aurais pas eu 2 mais 1 enfant à charge pour la CAF ?
Je vous remercie par avance de votre réponse.