Restitution de la caution avant signature du bail ?

Bonjour,

je cherchais un studio assez rapidement et, ayant trouvé quelque chose de pas trop cher, je me suis un petit peu hâté pour le prendre. Je suis donc allé le visiter et j'ai donné une caution (avec preuve écrite que c'est une caution) du montant d'un loyer pour confirmer que je le prenais mais je n'ai pas signé de bail !!.
Or, j'ai maintenant la possibilité d'avoir une chambre gratuite à l'AFPA (pour faire ma formation) et je ne souhaitais plus prendre le studio.
J'ai donc contacté le propriétaire, qui n'était pas très content, ce que je comprends très bien, mais ce dernier ne veut pas me rendre ma caution. Il me dit qu'on avait un accord verbal.

A-t-il le droit de faire ça ?
Si non, quels recours ai-je pour pouvoir récupérer ma caution ?

Merci d'avance pour votre aide.