Bail non valide mais état des lieux valide: comment me défendre?

Bonjour,
Après avoir visité un appartement il y a 2 mois, j'ai demandé aux occupants les coordonnées du propriétaire. Ils m'ont expliqué qu'il était âgé et qu'une dame était chargée de le réprésenter. J'ai donc contacter cette dame pour "retenir" l'appartement (libre le 1er mai 2008). Je lui ai lui donner les pièces constituant mon dossier et on a fixé un RDV pour le bail. Entre temps, la date du 1er mai a été repoussée au 15 mai pour faciliter le déménagement des anciens locataires. Par la suite, j'ai revue la "subsitue" du propriétaire pour la signature du bail qu'elle a signé de son propre nom (je précise qu'elle n'a pas de mandat, mais sur le moment je n'ai pas relevé ce détail, c'est ma première location...) et la date a été fixé pour l'état des lieux d'entrée: le 14 mai. Quelques jours avant le 14 mai, j'ai appelé la "substitue" afin de confirmer le RDV du 14 mai et j'apprends qu'elle ne sera pas présente. Elle propose que la remise des clefs entre les anciens locataires et moi-même ait lieu le 14 mai et que l'état des lieux de sortie et d'entrée ait lieu le 18 mai avec elle. Après réflexion, comme le bail a été signé pour le 15, je décide d'appeler le propriétaire (j'ai récupérer son numéro auprès des anciens locataires) en lui demandant de dépêcher quelqu'un sur place pour le réprésenter à la remise des clefs et à l'état des lieux d'entrée le 14. Il s'est alors déplacé et l'état des lieux a alors pu être validé (j'ai ramené une feuille blanche en citant les mentions légales et ce qui, dans l'appartement, était en mauvaise état). Le propriétaire signe et annonce qu'il repassera pour m'aider à nettoyer l'appartement qui était dans un état épouvantable voir insalubre. Le surlendemain on se retrouve à 2 dans l'appartement et je lui fais signer une feuille complétant l'état des lieux d'entrée où figure des fuites,... que nous n'avions pas vu le 14 et sur cette, même feuille il s'engage à effectuer les travaux pour le 1er juin et à me faire grâce du loyer des 2 premières semaines. Aujourd'hui, j'ai reçu un appel de la "substitue" qui m'accuse de harcélement auprès du propriétaire alors que je n'ai fait qu'organiser les travaux à sa demande, et elle précise sur un ton très menaçant que le bail n'a aucune valeur car c'est elle qui l'a signé et non le propriétaire (qui n'est pas du tout une personne du 3ème âge) et que l'attestation d'assurance n'a pas était remise. Je vais donc envoyer cette dernière demain matin. Mais concernant le bail que puis-je faire?