Affichage du permis de construire

Bonjour,
Avec mon mari nous avons acheter un terrain dans un village. Ce terrain est en fait derrière un maison où se trouvent 3 appartements.
Dans l'histoire, les appartements sont à vendre, et le terrain derrière la maison fait 3.97 ares donc parfaitement suffisant pour construire une petite maison de 100m². Une coopropriété est prévue pour nous permettre le passage de la maison jusqu'à la route.
Au mois de novembre 2007, nous avons signé le compromis de vente pour l'achat de ce terrain, le 2 janvier nous déposons le permis de contruire à la mairie et le 13 mars nous l'obtenons enfin.
Le temps de faire le panneau avec toutes les informations obligatoire, le 20 mars nous nous rendons sur ce terrain, voulant accrocher le panneau du permis de construire au portail pour qu'il soit visible de la rue, mais là, problème,
la propriétaira actuelle (qui habite dans un des apparts à vendre dans la maison de devant) refuse que nous affichions ce panneau.
Résultat des courses, nous somme le 15 avril et nous n'avons toujours pas pu accroché notre panneau.
Existe-t-il une solution pour l'obliger à nous laisser accrocher ce panneau ?