Taxe foncière demandée 5 ans apres signature du bail

Bonjour,
Je loue un local commercial depuis 1986.J’ai donc eu différents baux, dont le dernier en novembre 2004.Le propriétaire me réclame cette année la taxe foncière alors que je n’en ai jamais payé depuis 1986 car ça n’était pas inscrit dans mes baux. Après vérification il se trouve que dans le dernier(2004) il y a une clause qui stipule qu’il peut, s’il le veut, me faire supporter cette charge (Alors que j’avais demandé à l’époque et à maintes reprises un renouvellement du bail… que j’ai eu 5 mois après la fin du précédant) et de plus il attend 5 ans pour me réclamer cette taxe avec menace de revenir 4 ans en arrière.
Je lui avais fait confiance à la signature du 3eme bail en 2004 et n’avais pas vu cette nouvelle clause …car pour moi c’était un simple renouvellement…
Je lui ai demandé à plusieurs reprises de me refaire un bail en augmentant le loyer (car je lui ai fait perdre de l’argent soit disant ?) s’il le voulait mais en supprimant cette clause sur la taxe foncière qui me parait injuste vu que j’avais demandé un renouvellement et vu que j’ai toujours payé mes loyers en temps et en heure depuis 24 ans.
Il ne veut rien savoir et me menace de contentieux, d’huissier et autres…
J’avoue que je ne dors plus très bien en ce moment car je ne sais plus quoi faire…
Merci de votre réponse.
JM FERNANDEZ