Retour des enfants chez leur mère fin de week end

Bonjour,
j'aimerai avoir un conseil,
je suis divorcé et ai 2 enfants.
Ce week end, les enfants sont chez moi et nous somme invités dans la famille à 250 km d'ici mais je dois ramener les enfants chez leur mère pour 19h00, ce qui m'obligerai à repartir pour environ 15h00 pour éviter les bouchons sur Paris....pas cool pour un anniversaire.
J'ai donc prévenu mon ex femme pour lui dire que, exceptionnellement je les déposerai à l'école le lendemain.
N'étant pas d'accord, je ne lui ai pas laissé le choix et ai dit que je préviendrai le JAF par courrier et ai coupé court à la discussion.
Avez vous des conseils à me donner ? Peux-on me mettre en "défaut" pour celà ?
Merci de m'aider.