Penalité de retard fin de construction

Bonjour,
Je me permets de venir vers vous pour vous relater mon probleme actuel.
J'ai fais construire en 2012 avec une réception de chantier prévu le 18/11/2012. Je me suis garder des travaux réservés (menuiseries placo carrelage peinture). Aujourd'hui je n'ai toujours pas réceptionné le chantier, bien que j'y habite depuis le 03/01/2013.
En fait, un premier retard est de ma faute car je n'avais pas fini la faience et les plombiers de l'entreprise n'ont pu intervenir que le 08/12. Nous nous étions arrangés juste là. Cependant, aprés l'electricien lui a tardé jusqu'au 27/12 pour finir le chantier, sans aucun lien avec mes travaux réservés. De plus, la fin de chantier m'a engendré des frais initialement prévus dans la construction et que j'ai du engagé du fait du retard des intervenants (une colonne de douche et 2 passages du consuel car en plus le 1er controle n'était pas conforme).
J'ai envoyé une lettre le 10/01 en AR au constructeur lui demandant de receptionner mon chantier puis de déduire des 5% restants soit 4000€ les penalités de retard 27,4€ par jour ouvré et 450€ de frais avancés.
Puis plus aucune nouvelle jusqu'à ce jour et la réception de sa lettre en AR me précisant que pour lui tout est normal, que tout est de ma faute et que je dois payer la totalité du chantier lors de notre rdv d'achevement qu' il m'a fixé ce vendredi.
Donc je me pose des questions : comment obtenir déduction de ce qu'il me doit ? Doit-je accepter la reception du chantier vendredi mais j'ai peur qu'aprés, je n'ai plus aucun recours puisque j'aurai signer?
Je suis honnete, apres deduction des penalites et frais, il me reste 2700€ à lui devoir et je veux lui payer cette somme mais pas le reste, cela est injustifié.
Voila l'histoire! Je pensais aussi au trubinal de proximité, je l'avais fait apres un litige d'un an avec sfr, l'effet avait été radical.
Merci de vos conseils.