Diffamation et rumeurs sur mon lieu de travail a mon encontre

je suis directeur adjoint dans la restauration rapide et je rencontre des différents avec des salarié qui m'accuse de racisme contre les antillais (ils sont tous des antilles 5 personnes)dés que je leurs fait une remarque sur leurs travail il vont meme jusqu'a allez en salle de repos aprés leurs travail pour en parler et en informer d'autres employé alors que je sais que ce sont tous des amis et que c'est surtout pour cela qu'il m'accuse faussement le soucis c'est que d'autres personnes sur mon restaurant commence a croire a ses rumeurs et viennent a me poser la question si cela est vrai, je me retrouve dans une situation ou je ne peux faire une remarque a un salarié sans craindre que cela soit transformé en probléme raciale, le soucis c'est que ces personnes n'ont jamais dit devant moi que j'étais raciste et les personne qui me le remonte ne veulent pas me le mettre sur papier que puis-je faire car la situation empire de jour en jour.
j'ai penser a porter plainte contre x car la discution avec ce groupe de salarié est impossible.
et mon délégué syndical ne veux rien entendre du fait qu'il s'entende trés bien avec eux.
je crains pour mon emploi car de tels rumeurs et diffamation ruine toutes mes chances dans l'entreprise et il est claire que c'est le but recherché par ses personnes.