Litige sur détérioration de servitude

Bonjour,
Lors de notre construction, nous avons du faire nos VRD sur une servitude, servitude que nous partageons avec M. X (terrain appartenant à M. Y). Le chemin a l'origine était en terre avec cailloux au niveau des roues. M. X nous a envoyé un recommandé avec accusé de réception nous indiquant que nous avions détérioré le terrain et que nous devions le remettre en état pour qu'il puisse y passer proprement et sans dommage.
Le chemin est praticable dans la mesure où il est plat. Seulement lorsqu'il pleut, il y a de la boue et le voisin s'en plaint. Quelles sont nos obligations en la matière ? Devons-nous le remettre à l'identique avant nos travaux, ou si les véhicules, et piétons peuvent passer sans encombre cela suffit ?
Nous vous remercions pour votre réponse.