Adoption ? autorité parentale ?

Bonjour,
la situation est complexe. J'ai eu un enfant il y a 6 ans, avec un homme sans être marié. Nous avons tous deux reconnus l'enfant. Il nous a ensuite abandonné quand la petite avait trois mois. Nous avons au début essayé de maintenir des visites et des contacts (souvent à mon initiative). Nous avons finalement fait intervenir un juge pour statuer sur des jours de visites et une pension. La première année, il a dû venir 6 fois, la voir et même la prendre quelques jours en vacances, puis pas de nouvelles pendant 6 mois, voire 1 an. On a en moyenne une nouvelle ou deux par an. L'année dernière il a même oublié l'anniversaire, prétextant, que comme la petite n'appelle pas, elle ne souffre pas de la distance.
Aujourd'hui mariée, vivant avec mon mari depuis 4 ans, c'est lui qui assure l'éducation et tout le reste, nous avons souhaité qu'il adopte ma fille, pour également qu'il exerce son autorité parentale et que ma fille bénéficie des droits de succession.
Le père a refusé, prétextant qu'il en aurait peut être besoin un jour, que même s'il ne voulait pas s'en occuper aujourd'hui, qu'il voulait être un copain, que prendre ses responsabilités ne l'intéressaient pas, l'autorité parentale pourrait lui être utile un jour... D'ailleurs, depuis 5 ans, il ne paie que la moitié du montant de la pension, malgré le montant fixé par le juge.
J'aimerais donc savoir si j'ai un recours? Si une autre démarche, sans le consentement du père biologique, permettrait de reconnaître à ce beau-père qui élève ma fille, sachant que ma fille aussi jeune soit-elle, réclame cette adoption, elle veut porter son nom et former une famille...
Y'a t-il d'autres démarches pour donner de l'importance à un beau-père? qu'il puisse lui aussi prendre des décisions importantes si je suis absente ou injoignable? Il faut aussi préciser que le père biologique habite à 300km.

Merci d'avance,
Aglaé