PV de réimplantation de limite

Bonjour,
Mon frère, ma sœur et moi avons hérité fin 2012 d'une propriété que nous avons mise en vente. Cette propriété était issue d'un partage entre mon père et ma tante. En 1974, avaient été établis un acte de partage et une esquisse indiquant les limites de propriété entre les 2 lots.
Depuis, ma tante avait procédé à la vente d'une partie de son terrain : 2 lots ont été vendus avec bornages établis (sans la signature de mon père).
Elle a procédé cette année à la vente du 3e lot.Le nouveau voisin qui a obtenu son permis de construire le 24 septembre 2013 veut procéder à une réimplantation de limite car les limites qu'il a utilisées pour obtenir son permis de construire ne correspondent pas à celles qui sont indiquées sur les autres PV de bornages.Il agit sur les conseils de son constructeur qui s'est servi des mesures qu'il avait faites du terrain.Il nous demande de signer un plan de bornage et d'implantation permettant de construire sa maison en limite de propriété ( mur de 11m de long et de 8 m de haut).Depuis la pose des bornes qui s'est faite sans nous, tous les acheteurs potentiels de notre maison ont renoncé. Pouvons-nous attaquer son permis de construire en arguant qu'il l'a obtenu illégalement ou devons-nous lui demander des dommages et intérêts car il nous empêche de vendre notre bien ?
Je vous remercie de vos réponses.