Problème de restitution du dépot de garantie

J'ai signé un compromis pour l'achat d'un terrain avec une clause suspensive d'obtention de prêt.

Les conditions citées dans le compromis concernant l'obtentions du prêt sont les suivantes:

- montant total de 130 000€
- remboursable sur 20 ans
- taux maximum hors assurances de 5%

j'ai solicité ma banque qui m'a proposé un taux à 3,43%.
Après étude de mon dossier, la banque a refusé mon prêt.

Aujourd'hui le vendeur refuse de me restituer mon dépos de garantie pour le motif que j'ai requis un prêt au taux de 3,43% alors que le taux maximum hors assurance prévu au compromis était fixé à 5% soit un taux bien en dessous du taux maximum prévu au compromis.

Par conséquent le prêt n'ayant pas été sollicité selon les condition contactuelles prévues, il s'oppose à la restitution du dépot de garantie, conformément à l'article 1178 du code civil.

le vendeur est-il dans son bon droit ?
Comment récupérer mon dépot de garantie ?