Porter plainte pour diffamation

Actuellement en instance de divorce (c'est mon épouse qui a demandé le divorce), j'ai eu connaissance d'une rumeur qui circule dans mon quartier, colportée par deux personnes qui m'accusent de "fréquenter" une mineure de 14 ans et qui prétendent m'avoir vu embrasser cette mineure.
Cette "rumeur" m'a été rapportée par une voisine en qui j'ai toute confiante qui l'a elle même appris de sa fille.
J'ai été tres choqué de cette histoire qui met en cause ma réputation et qui de plus pourrait me nuire, notamment dans ma situation familiale.
J'ai téléphoné à la gendarmerie territorialement compétente afin de savoir si je pouvais éventuellement porter plainte, mais le gendarme m'a répondu qu'il n'enregistrerait pas ma plainte si je me présentais et qu'il m'était pas là pour régler ce genre de probleme.
Je ne sais pas si je peut saisir le procureuer de la république (pour diffamation), ni si ma plainte doit être contre X ou contre les personnes qui colporte le rumeur-d'autant que je n'ai pas de preuve.