Passages répété du propriétaire dans notre cours

Nous louons un appartement avec usage d' une cours exterieur (derrière notre appartement).Au fond de cette cours, un batiment inoccupé depuis des dizaines d' années appartenant a notre propriétaire. Pour y accéder un passage le long de la maison débouchant sur la rue.
Dans cette cours nous avons un petit abris en bois dans lequel je stationne entre autre une moto, velos, et matériel divers.
Sous prétexte de travaux a réaliser dans le batiment, (travaux prévu depuis déja plusieurs années, promesse jamais tenue..) notre propriétaire visite la cours plusieurs fois par mois, seul ou avec des entreprises, afin d' établir dit-il des devis.
Son attitude et son comportement deviennent insupportable, ses visites a répetitions ne mènent a rien, cela devient du harcelement.
Quels sont mes droits en cette matière?
Comment puis-je lui interdire ou lui limiter l' accès de cette cours?
Puis-je lui imposer de me prévenir plusieurs jours a l' avance avant une visite?

Existe-t-il une servitude sur cette cour ?