Faute de l'agence dans le compromis de vente

Bonjour,

Nous avons trouvé une maison par le biais d'une agence immobilière. Nous avons signé un compromis de vente établit par cette agence. Deux mois après, le notaire du vendeur constate que le diagnostique de l'assainissement individuel n'est pas valable. Son délai de validité est dépassé. Il demande au vendeur de la refaire.
Lors de ce nouveau diagnostique, la commune demande le raccordement à l'assainissement collectif au titre de la loi sur l'eau et les milieux aquatiques de 2009.
Suite à cela notre notaire nous informe que de ce fait, le compromis signé n'est pas valide et que nous allons recevoir un courrier recommandé qui ouvrira un nouveau droit de rétractation de 7 jours.
Notre notaire estime que nous n'avons pas à subir ces frais puisque les conditions de la vente ont changé du fait d'un manquement à sa mission de l'agent immobilier.
Si nous nous rétractons et que nous cassons la vente.
Peut-on acheter à nouveau cette même maison au vendeur sans passer par cet agent immobilier et sans lui devoir de commission.
A notre sens il a commis une faute et ne mérite pas ses honoraires.

Merci pour vos réponses.