Compromis annule ...... permis attaque mais pas retire

voila mon questionnement .....
j'ai signe un compromis avec un promoteur , cela a donne lieu a l'obtention d'un permis de construire qui est attaque au ta et 2 ans plus tard le ta toujours pas passe je decide de rompre les liens avec le promoteur qui reconnait que nous sommes delies mais qui ne retire pas son permis et continue le ta.....
je retrouve d'autres prmoteurs mais a ce moment la mon notaire me dit que je ne peux recontracter avec d'autres car ce serait en resume un terrain un permis du fait que l'autre permis n'est pas retirer!!!!
j'avoue que je suis perplexe
qu'en pensez vous?????