Bail non signé, loyer non payé

Bonjour,

Depuis le 6 mars, nous avons un nouveau locataire.
Il a souhaité rentrer rapidement dans l'appartement non meublé. Après nous avoir réglé le loyer en cours, remis le chèque de caution (1 mois), le certificat de son assurance ainsi que les garants, nous lui avons donné les clefs en lui laissant la possibilité de signer le bail dans les jours qui suivaient.
1 mois qu'il est logé : le bail n'est toujours pas signé et le loyer à régler au 5 du mois ne nous a pas été payé.
Après des relances téléphoniques, nous nous sommes déplacés afin de régler rapidement ce problème verbalement et à l'amiable.
Après différentes excuses (problèmes de virement, souci de téléphone) il nous a "promis" le règlement du loyer et la signature du bail pour le lendemain.
48 heures sont passées et toujours rien !!!
Notre grosse erreur : ne pas lui faire signer le bail au moment de la remise des clefs.
Seulement 1 mois, cela laisse entrevoir des difficultés pour les prochains loyers et ne souhaitons pas poursuivre avec lui. Que pouvons-nous faire pour être dans notre bon droit ?
Merci par avance pour vos bons conseils
Cécile