Probleme de clause de contrat de location

Je suis actuellement en menage avec un jeune homme et j'ai pris la decisison de partir car nous ne nous entendons plus. Lui, n'est pas d'accord mais j'ai trouvé un autre appartement et je suis bien decidee a partir. Le probleme c'est que nous sommes tous deux garants solidaires et que ma mére s'est portee caution pour nous deux dans cet appartement. De plus, il est obligé d'avoir un garant car cet appartement appartient à un bailleur social.
Je souhaiterai que ma mère et moi ne soyons plus garantes de mon ex compagnon car il ne compte pas , pour me mettre des batons dans les roues, payer son loyer une fois que je serai partie.
Comment puis je faire pour nous defaire ma mere et moi de ce contrat?