Le pere de mon fils a-t-il plus de droit s'il pait une pension?

le pere de mon fils m'a quitté en apprenant ma grossesse.il a tout de meme reconnu le petit.je le laisse le voir quand il veut tant qu'il veut mais en ma presence.il ne vient presque jamais.une fois tout les 4mois ou tout les 2 mois au mieux.il ne sy interresse pas et ne prend pas de nouvelles
il ne veut pas payer de pension et je ne souhaite pas l'y obligé car j'ai peur qu'il obtienne plus de droit sur le petit par la suite ou qu'il en demande.
c'est queelqu'un de tres immature,ses amis ne sont pas frequentables,ils sont vulgaires et parfois violent.lui meme il lui est arrivé de me bousculer sans toutefois me frapper.je n'empeche pas non plus les grands parents de voir le petit mais j'aimerais faire quelque chose pour que son pere ne puisse jamais demander a avoir son fils seul.il conduit dangereusement et n'est pas serieux,meme s'il n'a jamais fait l'objet de condamnation juridique,il s'est tout de meme fait retirer son permis probatoire au bout de 6mois pour alcool.et je ne veux pas que mon fils aille parmi ses gens pour le proteger.
comment m'assurer que son pere n'obtiendra jamais de droit de garde?je ne l'empecherais pas de voir le petit mais j'aimerais que ce soit en ma presence jusqu'a sa majorité