Rétraction après réservation de logement en location

Le 23 mai j'ai versé, à titre de réservation d'un logement en location, la somme de 650 euros à son propritétaire, avec en appui une attestation de versement pour RESERVATION signée des 2 parties (courrier ne stipulant que la réservation dudit logement sans clauses spéciales). J'ai souhaité verser l'équivalent du montant d'un loyer mensuel, pour lui prouver mon fort désir de pouvoir garder une option sur ce logement. Suite à des problèmes administratif je me vois contrainte de me rétracter 9 jours après, soit le 1er juin, pour cela je me suis rendue au domicile du propriétaire pour lui expliquer les raisons de ma rétraction bien regrétable. Tout a fait consciente du préjudice subit au propriétaire par la réservation de son logement, je lui ai proposé une indemnisation au prorata des 9 jours de réservation par rapport au 650 euros versé (cela fait près de 200euros), le propriétaire a refusé ma proposition et ne veut rien rembourser de l'argent que je lui avais versé seulement comme réservation.
Sans promesse ni engagement de ma part écrit et signé sur la prise de location et bien sûr sans bail de location, le propriétaire a-t-il le droit de garder tout cet argent de réservation (qui n'est pas minime) sous prétexte que je lui ai fait perdre la possibilité de louer ce logement tout le mois de juin ?
Comment faire pour récupérer cet argent que je ne peux pas donner ainsi, et surtout dont j'ai besoin ?