Son fils ne veut plus venir... que faire?

Bonjour, mon compagnon a un fils de 8 ans, qui n'a pas connu ses parents ensemble, ils se sont séparés quand elle était enceinte. Je suis avec le papa depuis 7 ans, nous avons 2 filles (20 mois et 4 mois). Depuis la naissance des filles, son fils est infecte, jaloux et depuis debut avril il ne vient plus chez nous. Il a été voir un pédopsychiatre avec ses parents qui a dit qu'il n'y avait pas de problème. Pendant nos jours de garde il pleure, ne parle pas, et désagréable, c'est invivable pour lui et pour nous. Voilà ma question, que faire pour que l'on ne reproche pas au papa de ne pas prendre son fils??? Il n'y a pas de dialogue possible avec la maman qui vit chez sa mère et qui n'a pas de problème pour faire garder son fils. Merci, cordialement.