J ai un probleme de comportement avec mons fils de 4 ans depuis m

j ai mon fils tout les 15jours du samedi matin au dimmanche soir,quand je vais le chercher en la presence de sa mere, il me parle pas et ne dit meme pas bonjour, dés quelle n est plus la, il change completement, bisous, calins ect..., pendant tout le weed kend, c est super, mais quand le dimanche soir arrive et qu il doit repartir, il traine les pieds, boude ect...ainsi que pendand le traget, arriver au pieds de l immeuble ou reside sa mere, il me dit vite aurevoir(bisous)et fait bien attention que sa mere ne le voit pas, a l arrivee de sa mere, il ne me connais plus,ce qui fait dire a sa mere que mon fils de 4 ans, ne veut pas etre avec moi.
ma question:
comment faire prouver que mon fils est heureux avec moi, quand je l ai en garde?