Remise en état du terrain de mon voisin

Bonjour,
J'ai acheté un maison + terrain en septembre 2006.
En 1998, l'ancien propriétaire avait procédé à des travaux dans son terrain en décaissant une partie. Malheureusement, il a aussi décaissé une partie du terrain du voisin (une bande de 2mètres de large environ sur 50 mètres de long et une hauteur de 4 mètres). Il a ainsi détruit l'un des chemins d'accés qui permettait au voisin d'accéder à sa propriété. En 1998, le voisin a fait un constat d'huissier mais il n'a pas engagé de procédure judiciaire. Le terrain est resté en l'état.
Quand j'ai acheté ma maison, personne ne m'a informé des dégats occasionés 8 ans plus tôt.
Aujourd'hui, le voisin me demande de restaurer son chemin en remettant son terrain comme il était avant 1998. Il s'appuie sur mon acte d'achat au titre des "Charges et conditions générales" qui précise que l'acquéreur prendra le bien en l'état actuel et qu'il est tenu des vices ou défauts apparents pouvant affecter le sol.
Suis-je tenu de remettre son bien en l'état en effectuant des travaux sur sa propriété?
Merci