Logement loué par agence, la caution doit etre restituée par qui?

Nous avons loué un appartement par agence, nous leur avons réglé la caution ainsi que le mois de loyer avant d'y entrer. Ayant eu des soucis de rats, d'infiltration d'eau, de sanitaires bouchés, ... Nous sommes partis après un préavis de 3 mois. Les 60 jours après l'état des lieux arrivant nous avons appelé l'agence immobilière pour la caution et ils nous ont répondu qu'il ne nous la rendraient que dans un mois étant donné que le propriétaire est en vacances, à savoir mi-août, alors que le dernier jour est le 19 juillet.
Que pouvons nous faire?
Merci