Divorce et jouissance du logement

Bonjour,
En instance de divorce, 4 enfants, conciliation le 22 octobre, monsieur a quitté le domicile fin Mai 2012, et occupe un logement T1, Malgré cela, il me dit qu'il peut aller et venir dans le logement que j'occupe désormais avec les enfants, qu'il est dans son droit et que je ne peux lui en empêcher l'accès. Pourriez-vous me dire ce que disent les textes en vigueur

Bonjour, tout à fait, tant que le juge n'a pas autorisé votre mari a quitter le domicile conjugal (car c'est pour le moment le domicile conjugal) et ne vous a pas attribué le bien, vous ne pouvez rien faire, cordialement

Merci pour votre réponse.
Cependant au niveau de la caf, la date de son départ est effectivement notifiée, et dans le cadre d'un divorce très conflictuel, est-il possible de se protéger, des recours sont-ils possibles?