Vendeur refuse de baisser le prix du terrain frappé d alignement

J'ai signé un compromis de vente le 30 octobre 2008 pour une petite maison construite en 1978 sur un terrain de 655 m2 en Charente-maritime. le tout pour un prix de 121000€ sans les frais de notaire. Sur demande du notaire, après le compromis signé,et avant signature définitive prévue fin janvier 2009, la mairie frappe d alignement le terrain pour 54 m2. Les nouvelles limites du terrain interdisent désormais tout agrandissement sur la façade principale qui se trouve maintenant à 5 mètres de la limite du terrain.
Considérant, que cette bande de terre se trouve dévaluée, (la Mairie ne me donnera jamais le prix du m2 pratiqué localement et peut être prendra gratuitement 10% de la surface du terrain - soit la totalité des 54 m2), mais surtout que je me trouve dans l'impossibilité d'agrandir cette maison sur cette façade comme je l'avais envisagé (je n'avais pas parlé de ce souhait lors du compromis)j'ai demandé au vendeur de baisser le prix de 4 à 5000 euros ce qui me parait très raisonnable, mais il ne veut pas. Il demeure que cette propriété reste intéressante et que j'ai bien l'intention de l'acheter.
Existe t-il un moyen pour contraindre le vendeur à accepter le principe de baisse du prix et aurai-je un moyen de recours après signature de vente.
Par ailleurs je ne mets pas en doute la sincérité du vendeur qui est une femme âgée, ni le professionnalisme du notaire mais...
Merci