Résiliation d'un contrat de bail

Bonjour

En résumé : j'ai signé un bail pour le 1er décembre 2007 ,en date du 21 janvier je n'ai toujours pas emménagé et je n'ai pas non plus de date précise pour cet emménagement car il effectuait des travaux.
C'est pour cette raison que j'ai fait savoir au propriétaire que je voulais résilier le bail signé ensemble, celui-ci n'emmet aucune objection.Je lui fais donc un courrier recommandé stipulant que je résilie le contrat de bail avec son accord.
A ce jour, il exige un autre courrier recommandé qui dirait que je résilie le contrat de bail a ma seule décision.
Dois-je lui faire ce courrier?
Pourrait-il s'en servir contre moi?
Est-il en droit de reclammer le mois de caution prévu au bail ?
Que dois-je faire? Puis-je réclammer quelque chose pour le préjudice des deux mois d'attente?

Merci