Droit de visite et hébergement

Bonjour,
Mon ex-femme, lors de sa demande en cours d'appel et aussi sur demande de notre fille, a obtenu la garde de notre fille.
J'ai un DVH un week-end sur deux et la moitié des vacacances. Cependant, ma fille n'a pas envie de venir chez moi, elle m'avait déjà prévenu le jour où elle est parti. Sa mère, l'oblige tout de même à venir et donc m'oblige à la prendre. Ma fille me demande si elle peut passer ses week-end et surtout ses vacances (car ma compagne et moi travaillons tous les deux) chez ma mère (sa grand-mère avec qui elle adore être), je ne vois pas pourquoi je lui refuserais ? cependant, mon ex-femme me fait un scandale à chaque fois et menace ma fille dès qu'elle rentre chez elle en lui disant que la prochaine fois si elle va chez sa grand mère elle sera puni ou alors qu'elle la fera suivre l'autre week-end pour être certaine qu'elle vient bien à mon domicile et non à celui de sa grand mère ? A t-elle le droit de faire cela et dois-je vraiment faire ce qu'elle ordonne lorsque j'ai un DVH ? Peut-elle me renvoyer au tribunal pour cela ?
Merci de votre réponse ?