Accusé à tord d'ivresse par un prestataire de services

Bonjour,

Je vais tenter de faire court et précis.
- Je m'appelle Olivier, je suis chargé de mission d'un groupement d'intérêt économique. Dans le cadre de ma mission, nous sommes amenés à faire appel à un prestataire de services (Une agence de sécurité privée en l’occurrence...). Je suis d'astreinte une semaine sur deux. Durant ces astreintes, il m'arrive de faire appel à notre prestataire. Et voilà justement mon souci:
- Un agent de notre prestataire m'accuse d'être en état d'ébriété lorsqu'il m'a au téléphone. D'après lui, j'ai la voix d'une personne saoule et souvent, il lui arrive d'entendre des bruits de fête derrière moi (Le comble pour ma profession car je lutte contre les troubles de voisinage justement !).
Ses propos ont été rapportés sur courrier à l'attention de mon directeur (et collègue à la fois) et fort heureusement, lui me connait très bien et sait que ces propos sont faux.

N'appréciant guère ce type d'accusation, je souhaite entamer des poursuites judiciaires à l'encontre de l'agent concerné.
Donc, voilà ma question:
- Une plainte pour diffamation serait-elle recevable ?
- Sinon, quel(s) recours juridique(s) puis-je obtenir.

Bien évidemment, des sanctions internes seront étudiées...

Merci d'avance pour vos réponses.
Bien cordialement