Esque j'abuse de la servitude

Au décès de mon grand père, ma grand-mère a gardé l’usufruit, ma mère la nu propriété, le bien appartenaient en propre mon grand père. Mariés l’un et l’autre en premières noces, sous le régime de la communauté légale, à défaut de contrat de mariage.
Ma grand-mère achète une parcelle contiguë à la parcelle de mon grand père.
Après division de la parcelle en trois parcelles, ma grand-mère a vendu en constituant au profit de la parcelle restante dont elle restait propriétaire, à titre de servitude réelle et perpétuelle, un droit de passage sur un chemin de 5 mètres de largeur situé au sud est de la parcelle vendue.
Moi le fis qui à la nu propriété sur les deux parcelles, mon voisin dit que je me sers de la servitude sans droit ni titre pour aller sur la parcelle de grand père car à la date de création ma grand-mère n’est pas propriétaire.