Non-jouissance du droit de visite d'un enfant

Bonjour,
Après la séparation d'avec mon concubin il y a 8 ans, un jugement a été rendu permettant à ce papa de visiter son enfant une fois par semaine à mon domicile (car problèmes d'alcoolisations importants).
Or après avoir largement espacé ses visites, celui-ci ne vient plus voir son fils depuis 6 mois (malgré nos sollicitations). Il vit dans une situation précaire et a décidé de se marier très rapidement avec une rencontre soudaine.
Voila mon souci : ai-je quelque chose à faire pour protéger notre enfant s'il lui prenait l'envie d'influencer son éducation ? (il a toujours l'autorité parentale partagée). Qu'est-ce que je risque si il décide un jour de "prendre" l'enfant (il est plus que jamais malheureusement incapable de s'en occuper comme le disais déjà le jugement rendu). Sa compagne étant étrangère, j'ai un peu peur qu'un jour ils aient l'idée de l'emmener hors de France, etc...
Donc dois-je faire quelque chose (courrier au juge des affaires familiales en notifiant la non-jouissance du droit de visite??) pour protéger l'intérêt de mon enfant (10 ans) qui est perturbé par les non-visites de son papa?
Enfin, est-ce qu'il risque de perdre l'autorité parentale ?
Merci beaucoup de votre aide.