Garde d'une enfant majeure

J'habite en Belgique et je suis belge ainsi que ma fille Sophie et mon ex-mari. Le droit belge est donc applicable.
J'ai ma fille Sophie en garde principale ; elle va chez son père 1 W-E sur deux.Elle a 18 ans et est donc majeure.
Mon ex-mari et ma fille souhaiteraient qu'elle revienne intégralement chez moi et n'aille plus chez lui(ils ne s'entendent pas très bien).Je m'y oppose
Bien que, aimant ma fille, je souhaite que celle-ci continue d'aller un W-E sur deux chez son père. Pour être libre d'esprit ce W-E là (ma fille est diabétique et j'ai toujours peur qu'elle fasse un hypoglycémie le matin) , pour partir en W/E et pour ma vie de couple. Puis-je refuser légalement qu'elle vienne chez moi le W-E où elle est sensé aller chez son père et lui imposer d'aller chez son père et par conséquent imposer à son père de la recevoir ?