Refus de pret - L'agent immobilier exige de passer par son courti

Bonjour,

J'ai signé un compromis de vente pour l'achat d'un appartement.
La condition suspensive concernant l'obtention du prêt prévoit un prêt de 200 000€ sur 25 ans max à un taux max de 2,8%.

En cas de refus, je devrais envoyer 2 lettres de refus avant le 30 janvier.
20 000€ ont été séquestré par l'agent immobilier en guise d'acompte.

Les banques ont refusés de me suivre, j'ai envoyé 3 lettres de refus respectant les modalités décrites dans le compromis.

J'ai envoyé à l'agent immobilier par recommandé les lettres de refus dans les temps.

L'agent immobilier exige que je dépose un dossier auprès de son "courtier partenaire" pour autoriser la libération du séquestre.
Le notaire du vendeur a confirmé par mail à mon notaire cette demande.
Je sais que cette demande n'est pas légale.
Mais que faire ?

Je précise que l'agent à remis, dès le lendemain, la maison en vente sur plusieurs sites internet.

J'aimerai éviter de longues démarches pour récupérer simplement la somme séquestrée.

Merci d'avance de votre aide.