Passage devant un juge des affaires familiales

Bonsoir,
ma fille a 5 ans et 1/2. Son père vient la chercher, selon son souhait, le premier Week end de chaque mois (1 seul we par mois) et la moitié des vacances. Il habite à 190€ kms de nous. Il me verse 150€ par mois de pension (non déclarée) car je gagne 1100€ par mois, 340€ de loyer et cela m'évite d'être imposable.
Celui-ci veut me faire du mal, et me menace de passer devant le juge.
Il a dans l'idée de venir chercher ma fille tous les 15 jours et de me faire supporter la moitié des frais de voyage.
Sortie des 150€ de pension, il ne paye rien, je supporte à moi seule les frais de cantine, de garderie, de centre aéré, quelques fois de nourrice, les vêtements etc... de plus ma fille lui téléphone pratiquement tous les soirs.
Pouvez-vous me rassurer, car j'ai un peu peur que le juge m'oblige à dépenser plus. Que peut le père de ma fille contre moi en passant devant le juge, cela sera t'il bénéfique pour lui ou pour moi ? Il est à la tête d'une petite entreprise du bâtiment qui tourne plutôt bien. Moi je suis simple employée. Pour qui cela sera le plus rentable lui ou moi ?
merci pour votre réponse
Bien à vous