Incompétances prestataire informatique

Bonjour,
Voici notre problème.
Nous sommes une entreprise qui avons développé notre site internet par un prestataire. Celui-ci nous a proposé un rabais suite aux compétences (référencement) de mon associé. Au jours d'aujourd'hui le site internet est inondé d'anomalies sur des modules de bases (bon de réduction, panier, ventes à pertes, ventes à -5€...) développées par le prestataire. Ce qui provoque une mauvaise image de notre site e-commerce et donc une perte de CA.
Plus les jours passent, plus le prestataire veut nous faire payé une assistance pour remédié à ces problèmes et nous menaces d'arrêter son activité avec nous.

Alors ma questions, comment faire pour avoir un recours et lui proposé éventuellement une rupture de contrat (puisque nous payons une licence de 25 euros par mois...sans durée dans le temps) moyennant finance pour que l'on développe notre site chez quelqu'un d'autre?

Cordialement
Pierre