Attaqué pour diffamation par ma nounou

Bonjour,
Je vous écrit parce que j'ai besoin d'un eclaircissement, voir d'un conseil.

J'ai écrit une lettre à la CAF pour me plaindre d'une nounou en décrivant point par point ce qui me deplaisait dans sa manière de travailler, les problêmes d'hygiène que j'ai pu constater.

Suite à la visite d'une puericultrice chez cette "nounou", cette dernière m'appelle pour me prévenir qu'elle m'attaque en diffamation.

Je n'ai rien dit de désobligeant à son encontre à part les vives critiques sur son travail mais comment cela se passe t il si on se retrouve finalement avec sa parole contre la mienne.
Est ce vraiment une diffamation lorsque on écrit une lettre au service concerné (la CAF), je croyais que la diffamation n'existait que si j'avais fait ces critiques publiquement ou par le biais d'un article ou autre blog.

Merci de m'aider car je ne connais rien au droit.