Indivision réduite suite à mahonneteté et ignorance

Bonjour,
Non marié, ni pacsé, Nous avons fais construire une maison sur un terrain avec mon concubin en 2008. Nous avons contracté un prêt à nos 2 noms dont les échéances étaient prélevées sur notre compte commun que nous alimentions tous les 2.
Mais en 2009, mon ex a demandé la modification du compte débité à notre banque sans me prévenir et les échéances ont été prélevées sur son compte personnel. Je l'ai bien sure remarqué sur nos relevés, et il m'a justifié son acte par son manque de temps à gérer les dépenses quotidiennes car il était devenu directeur les mois précédents. Il m'a fait croire qu'en versant la somme équivalente aux échéances de prêt sur notre compte commun pour les dépenses de la famille, ça ne changeait rien et que j'avais le temps de m'occuper des dépenses pour la famille. Je l'ai cru et on a fonctionné comme cela pendant 5 ans. J'ai été très naïve car j'ai découvert récemment qu'il était inscrit a des sites de rencontres, qu'il avait des maitresses à cette période, qu'il avait probablement déjà en tête de se séparer de moi et qu'il préparait sa sortie de l'indivision à son avantage.
En 2014, on s'est séparé et il m'a fait une proposition pour me racheter ma part de nos biens par son notaire selon notre soit disant accord. Mais malheureusement, rien était signé quand j'ai quitté la maison.
Evidemment, maintenant, il me dit qu'il ne me doit rien pour la maison car les échéances du prêt ont été prélevées sur son compte personnel. Il ne veut plus d'une solution amiable et m'a demandé de lancé une procédure pour sortir de l'indivision, ce que j'ai fait sans autre choix, mais il m'a dit que je n'obtiendrai rien.
Je ne suis pas confiante, je suis révoltée par la malhonnêteté de mon ex et par l'absence d'obligation de la banque de prévenir de cette arnaque dans le cas de concubins.
Existe t-il un moyen de rétablir un peu de justice dans mon cas?
Merci