Problème de garde de mon fils

Bonjour,

Voilà je vous expose la situation, mon ex femme et moi sommes séparé depuis maintenant presque 5 ans, à cet époque je vivais à Orléans et j'étais militaire, elle a déménager sur Paris, puis sur St Maixent L'école, puis enfin sur La Rochelle, afin de pouvoir me rapprocher de mon fils, j'ai quitté l'armée, et réussi à trouver du travail comme cadre sur Niort, ce qui me permettait de voir plus mon fils. A peine je suis arrivé qu'elle a décidé de déménager sur Marseille. Avant cela mon fils (6 ans) à décider de venir vivre avec moi, nous avons donc fait un accord par écrit entre nous deux, stipulant les droits et devoir de chacun, donc mon fils est venu vivre avec moi depuis le mois d'Octobre de l'année dernière. Il est scolarisé, et bien épanouis, j'ai fais des efforts a chaque vacances pour qu'il voit sa mère, comme par exemple l'amener à Bordeaux pour prendre le train, bien-sur tout ça à mes frais, puisque la mère ne m'a jamais versé de pension, puisqu'elle ne travaille pas et à 2 autres enfants de deux pères différents, (je sais c'est compliqué).
Je viens de recevoir un courrier de sa part me donnant un ultimatum sur le fait qu'elle veuille récupérer mon fils le 27 juin, c'est à dire avant la fin de l'année scolaire, en prétextant que de toute façon c'est elle qui en avait la garde dixit l'accord de non conciliation.
Je n'en peux plus et ne sais plus quoi faire pour obtenir la garde de mon fils, j'ai peur qu'il n'aille pas à l'école avec elle, vu que l’aînée qui a presque 10 ans n'y va pas.
J'avais déposé une requête auprès du tribunal pour obtenir la garde légal, mais ne voulant pas me donner son adresse, celle ci m'est revenu en me stipulant que je devait faire le nécessaire pour la retrouver.
Quelles arguments puis je avancer pour prouver que si c'est la mère qui le récupère, sa stabilité sera mis en péril ?

Merci par avance pour vos conseil.