Abandon de famille et non respect du droit de visite

Bonjour, je me tourne vers vous d'une manière un peu désespérée, je vous en expose les raisons.
Je suis divorcée depuis 2005, mon exmari a toujours fait en sorte de se mettre en constat d'insolvabilité afin de ne pas avoir à payer de pension pour nos 3 enfants agés de 12, 9 et 7 ans. Notre petit dernier est handicapé mais , malgrès ces frais supplémentaires liés à sa maladie, j'ai toujours très bien assumé financièrement le quotidien de mes enfants.
En accord avec mon avocat, nous avons tout de même réouvert une procédure pour pension sans avertir au préalable mon ex mari et de se fait comme il travaillait, a été condamné à payer une somme dérisoire mais symbolique pour l'entretien de ses enfants (35€ par enfants).
Le juge a estimé qu'il devait participer car j'avais par la même occasion précisé qu'il n'exercait quasiment jamais ses droits de visites.
Au final, depuis le rendu de la grosse de jugement(le25/04/2007), il n'a jamais versé quoique ce soit et j'ai du entamer une procédure pour abandon de famille.
Mais ce qui me perturbe le plus c'est qu'il ne prend plus du tout ses enfants depuis fin mars 2007 et n'a jamais pris de nouvelles. Il fait le mort.
Ma question est donc la suivante: s'il devait, par exemple maintenant pour sa garde normale du mois d'aout, se manifester et réclamer l'exercice de son droit de visite, puis je lui refuser les enfants? Je sais que de part la loi, je ne peux lui refuser mais j'ai reservé des vacances avec les enfants pendant sa soi disant garde puisque nous n'avions plus de nouvelles, et je ne pourrais pas me faire rembourser en cas d'annulation.
Je vous suis d'ores et déjà reconnaissante pour votre aide.
Bien cordialement