Blocage pour vente d'une grange

bonjour, je vais essayer d'etre le clair possible. nous avons mis notre grange en vente qui est dans une cour commune , depuis quelques mois plusieurs offres ont étaient annullées suite à une opposition des voisins sur la vente de ce bien. quand nous avons achetté cette grange il y avait les conditions suivantes du maire : 1) le futur acquéreur pourra déposer un permis de construire, s'il aménage cette grange de façon suivante - a) le rez de chausséée devra etre transformé en garage avec minimun 2 places,- b) le 1 er étage et les combles pourront etre aménagés en habitation et seulement 1 habitation pour l'ensemble. 2) l'obtention de ce permis de construire devra apparaitre comme condition suspensive sur le compromis de vente. 3) le vendeur doit fournir aux futurs acquéreurs, le réglement privé de la cour commune.4) le futur acquéreur devra se rapprocher du sivom pour réaliser ses branchements d'esau et de tout à l'égout. toute les conditions étaient acceptées part plusieurs acquéreurs et la ou pose le probléme c'est n°5) le futur acquéreur devra informer les habitants de la cour commune de son projet et obtenir de leur part un avis favorable. hors ceux ci s'opposent à donner un avis favorable car ils ont décrétés qu'ils étaient en nombre suffisant et qu'ils ne voulaient pas d'une habitation supplémentaire... que peut-on faire quel sont nos droits . et ont t-ils réellement un accord à donner pour que l'on puisse déposer notre demande de permis de construire . merci de nous apporter votre aide et nous dire quelle démarche et quel recour peut-on avoir , merci , cordialement, carine