Mitoyenneté ou non concernant des bâtiments agricoles?

Bonjour ,

Merci de m'accueillir sur votre site ! Je désire faire démolir un bâtiment agricole jouxtant notre maison pour cause de vétusté .Les voisins , anciens propriétaires des lieux , sont catastrophés par ma démarche et me disent que les murs sont en mitoyenneté avec eux . En effet un hangar , puis un abri reposent contre sur deux faces .Mes toits dépassent largement les leurs dans la hauteur et mes fenêtres et portes donnent sur leur propriété .Lors de la vente , il n'a pas été fait de bornage , et dans le contrat de vente , rien n'est notifié quant à quelconque mitoyenneté .
Je pense protéger leurs bâtiments en y adjoignant des renforts , à mes frais et de stabiliser le fait des murs
pour les mettre hors d'eaux .Peuvent-ils m’empêcher de commencer les travaux (Pas besoin de permis de démolir), ou vont-ils me chercher "noise" par la suite ?
je compte faire venir un huissier avant la démolition .

Merci pour votre réponse .