Plainte contre le permis de construire

Bonjour,
Je me trouve dans une situation assez complexe, suite à une plainte déposée contre un permis de construire modificatif par un voisin. Je souhaiterais connaitre mes recours et les issues possibles à mon affaire.
Voici la situation :
J'ai acheté un terrain à la montagne pour y construire une maison secondaire. J'ai déposé un permis de construire, attendu le délai imparti, puis après son acceptation, j'ai débuté les travaux.
Mon voisin a commencé à ce moment là à poser des problèmes : il a fait intervenir un géomètre car il disait que la construction n'était pas assez éloignée de sa cloture. Au final, il a été établi par le géomètre que son mur était en grande partie sur mon terrain. On a conclu un accord de "repartage" du terrain devant le géomètre afin de ne pas s'engager dans des procédures complexes et d'être conciliants.
Les murs sont batis, et le toit en partie couvert (aux 3/4) maintenant. Nous avons déposé un permis de construire modificatif car nous avons modifié les ouvertures sur une façade, déplacé l'implantation de la maison sur le plan de masse de 3 mètres (afin de garder une possibilité de mettre une terasse sur l'arrière de la maison) et également opté pour une solution de combles amménageables. Nous attendions l'accord de la mairie. Mais notre voisin a porté plainte auprès du préfet et demande la démolition de notre construction pour non respect du permis de construire et également car il juge que la construction lui empêche la vue sur la montagne. Le stravaux sont donc interrompus et notre dépot de permis de construire modificatif est bloqué car il s'y est opposé.
Quels sont nos recours possibles ?
Comment nous défendre ?
Que peux obtenir le voisin suite à sa plainte ?
Merci de vos conseils et aide.
Cordialement.
Clémence

bjr,
un permis de construire est toujours délivré sous réserve du droit des tiers. il est accordé si le projet respecte les règles d'urbanisme.
selon ce que vous écrivez vous avez modifié la construction et demandé un permis de construire modificatif donc avec les risques que le nouveau permis ne soit pas accordé.
vous dîtes que le permis est bloqué mais par qui, le maire de votre commune est seul compétent pour délivrer un permis de construire qui doit vous être accordé s'il respecte les règles d'urbanisme.
dans un premier temps il me semble nécessaire de savoir ce que pense le maire car à mon avis le préfet en matière de permis de construire n'est pas le supérieur hiérarchique du maire (voir ce qui c'est passé dans les communes frappé par la tempête xynthia ou des permis ont été délivrés contre l'avis de la préfecture).
quant à la privation de vue sur la montagne seuls les juges apprécieront s'il s'agit d'un trouble anormal ou pas de voisinage.
cdt

Merci de cette réponse tout d'abord.
Voici donc quelques précisions :
- après avoir eu l'accord pour le permis initial, nous avons attendu les 2 mois necessaires après mise en place du panneau avant de débuter les travaux. Lors du début des travaux, nous avons choisi de modifier l'implantation de la maison par rapport au plan de masse déposé. Le temps de réaliser et déposer le permis de construire modificatif, le voisin a demandé au maire de faire cesser les travaux pour le motif de non conformité aux plans du PC et que la construction dorénavant lui cachait la vue.
Le permis de Construire modificatif a été déposé avant que le Maire nous informe par lettre recomandée avec AR que nous devions cesser les travaux.
Le voisin ayant menacé d'en référer au prefet (?) si le Maire n'arretait pas les travaux.
Ce matin, les services d'urbanisme que j'ai contacté par téléphone m'ont dit que le PC modificatif ne présentait aps d'anomalies et devrait donc être accordé.
Voilà les dernières nouvelles.
Merci d'avoir pris le temps de me répondre et de me lire.
Cordialement.
Clémence