Obligation non prévue dans le contrat

Bonjour,
J'ai pris un poste de directeur d'un centre de vacances en février dernier. Pour prendre ce poste, j'ai démissionné de mon ancien travail comme contractuel de la fonction publique et j'ai déménagé dans un autre département que celui où j'habitais. En arrivant sur le nouveau poste, on m'avait dit à l'oral qu'il y avait un petit logement de fonction. Je pensais l'utiliser le temps de trouver un vrai logement pouvant accueillir ma femme et ma fille en bas âge. Mais j'ai appris le premier jour que le logement de fonction est obligatoire alors que ce n'est pas stipulé dans mon contrat de travail. Ayant démissionné de mon ancien travail je n'ai pas pu faire autrement que d'accepter (à l'oral) mais après trois mois dans cet appartement je me rends compte que ce n'est plus possible: il n'y a qu'une chambre, ma fille est obligée de dormir dans un transat dans ma chambre, il n'y a même pas la place de mettre son lit.
Puis-je dénoncer le contrat sous prétexte qu'une telle obligation n'était pas inscrite dans le contrat?
merci pour les réponses, j'ai vraiment besoin d'aide, ma femme pleure à longueur de journée à cause des conditions difficiles de vie, il me faut trouver une solution pour partir.
PS: j'ai demandé une rupture amiable de mon contrat (pour pouvoir avoir droit aux assurances chômage et mes employeurs l'ont refusée)