Mettre à la porte son ex conjoint

Bonsoir,
Je suis co-signataire d'un bail de location avec ma mère âgée de 75 ans.
Mon ex conjoint vit dans cet appartement, nous a pris les clés et nous fait du chantage pour qu'on ne dépose pas le préavis ( il veut continuer à vivre dans cet appartement, en payer le loyer mais comme il ne dispose pas de papiers mentionnant des revenus stables il ne peut mettre le bail à son nom).
Quels sont nos recours ? Si on dépose le préavis il nous a clairement dit ne plus payer le loyer et saccager l'appartement. Nous n'avons plus les clés pour rentrer.
Déposer le préavis sans le lui signifier mais comment justifier auprès de l'agence que ns ne sommes pas en mesure d'ouvrir la porte et que dans l'appartement réside un homme qui n'est pas signataire du bail ?

Je vous remercie par avance pour votre réponse.

Ps nous ne sommes pas mariés, nous n'avons pas d'enfants ensemble

Bonjour, vous faites ouvrir votre appartement par un serrurier au besoin avec les forces de l'ordre et vous changez les serrures, cordialement