Caisse allocation familiale

Je suis locataire d'un appartement et je perçois une indemnité (APL) de la Caf
J'ai eu un contrôle d'un agent de la Caf il y a 2 mois, il voulait visiter mon appartement, j'ai refusé de le faire entrer ;la suite... la Caf déclare que je vis avec un Monsieur et me réclame ses revenus pour l'année 2006 ;
A ce jour, la Caf continue de me verser cette APL.
Que dois je faire ?
Juridiquement quelles peuvent être les conqéquence si je ne réponds pas ?Quelle peut etre leur action en justice à mon encontre ?
Qu'es ce que je risque ?
Que me conseillez vous ?
Merci pour votre réponse