Rupture de contrat de vente immobilière

Bonjour,
J'ai signé il y a 4 mois un compromis d'achat pour une petite maison. Cette maison est enclavée et je dois passer par la cour des voisins, qui jouxte la mienne, pour me rendre chez moi.
Avant de signer l'acte d'achat, le notaire a voulu s'assurer que tout était correct au niveau des droits de passage, mais en fait l'accord était uniquement oral entre les anciens propriétaires et les propriétaires de la maison que je comptais acheter.
Les nouveaux voisins ont acheté leur maison il y a tout juste quelques semaines et ils refusent catégoriquement d'accorder ce droit de passage. Le notaire m'a assuré que, à la suite du procès qui leur est intenté par les vendeurs de ma maison, le droit de passage serait obligatoirement accordé, mais outre la longueur de la procédure, je crais que les relations de voisinage soient excécrables. Ayant déjà vécu de mauvaises relations de voisinages lorsque je vivais chez mes parents, je sais à quel point cela peut porter sur la santé physque et morale.
Je voudrais donc annuler la vente, mais comment me retirer sans perdre les 5% que j'ai versés à la signature du compromis?
Merci d'avance de votre réponse.
Cordialement,

Audrey