Pas de bail, peuvent il garder la caution?

Bonjour,

Voilà j'expose mon problème:

Moi et mon amie louons un appartement depuis maintenant un an, le propriétaire(que je connais bien) nous avait demandé un moi de caution à l'entrée, somme que nous avons versée.

Nous n'avons jamais fait d'état des lieux ni signé de bail avant la location.

Ce qu'il se passe c'est que nous avons trouvé, il y a peu de temps, un appartement qui nous plait beaucoup.
J'ai donc annoncé aujourd'hui au propriétaire que nous allions quitter le logement dans 15 jours(j'avais déjà prévenu il y a une semaine que j'attendait une réponse pour l'autre appartement).
Nous sommes bien conscient que le délai est beaucoup trop court et pour cette raison celui-ci veut nous faire payer le loyer du mois prochain sachant que nous y serons plus.

Je voudrais savoir si il a le droit de nous faire régler ce loyer ou alors de garder la caution sachant que nous n'avons jamais signé de bail.

Merci d'avance de votre attention.