Droit de passage caché, peut-on annuler la vente ?

Bonjour,
Nous avons, mon ami et moi, acheté une maison en août 2006. Un an après, un voisin nous a signalé qu'il avait un droit de passage sur notre parcelle, et nous l'a prouvé avec son acte notarié (en plus, pas des moindres, pas au fond du jardin, juste dans notre cour, devant notre véranda !). Dans nos actes, rien ne figure de tel, sinon que nous achetons sans servitude... et que les vendeurs déclarent ne pas en connaître etc. Nous nous sommes alors demandé comment nos deux actes pouvaient ne pas concorder alors que le même clerc de notaire a été en charge des deux affaires.
Nous avons demandé des renseignements à ce clerc, qui nous a dit que, comme cela était écrit, nous n'avions pas de servitude sur notre parcelle. Pendant ce temps, il disait au voisin, un jour, que nous ne comprenions rien, et quelques jours plus tard, qu'il avait perdu son droit de passage, et encore plus tard, qu'il avait bien son droit de passage... Bref. Nous avons demandé à l'agence immobilière qui nous a vendu ce bien, de venir voir. Ils nous ont certifié que dans le dossier de la maison, il n'a jamais été question de droit de passage...
Après des mois pendant lesquels il nous a mené en bâteau nous faisant croire qu'il n'en était rien, nous avons enfin obtenu la preuve, de la part du notaire responsable de l'étude, que notre voisin a un droit de passage chez nous. Ce qui est étrange aussi, c'est que la conservation des hypothèques n'aient pas été en mesure de nous fournir ce renseignement, alors que notre voisin a acheté sa propriété en... 1992 je crois.
Nous avons aujourd'hui la certitude, et nous aurons la preuve par les témoignages de voisins, que les vendeurs étaient au courant de ce passage, et nous l'ont caché pour faire affaire. Les anciens propriétaires du bien de notre voisin, nous ont rendu des clés de chez nous que leur avait donné les anciens propriétaires de notre maison !!! Le notaire n'a pas non plus fait son travail... alors qu'il savait !
Pouvons-nous annuler la vente ?
Pouvons-nous espérer des dommages-intérêts ?
Nous avons, depuis notre acquisition, investi environ 10000 euros de travaux d'aménagement et beaucoup de temps libre pour les réaliser... Pouvons espérer en récupérer quelque chose ?
En tout cas, hors de question de rester là ! Le voisin, pour l'instant, est sympa, mais s'il vendait et que quelqu'un passait tous les jours dans notre cour... Nous n'aurions jamais acheté si nous avions sû !
Merci beaucoup à qui voudra me répondre.