Garde alternée et déménagement

Bonjour,
maman d'un enfant de 8 ans (d'un premier mariage) en garde alternée puis maman d'un enfant de 3 ans dont j'ai la garde. J'ai trouvé un compagnon qui habite à 50 kms de mon lieu actuel, nous souhaiterions que j'emménage avec lui mais cela pose problème pour mon grand garçon. J'ai essayé de voir avec le papa pour rester en garde alternée mais d'une autre facon (c'est à dire lui les weekends et vacances scolaires) mais il est catégorique et dit non ! J'ai toujours fait au mieux ( mon fils est à l'école à 200m de chez son papa, je fais les allers retours tous les jours depuis 6 ans et je n'ai jamais rien dit ! ) Vous souhaitez savoir s'il peut m’empêcher de m'éloigner vu que nous sommes en garde alternée ? Faut il obligatoirement que je repasse devant le juge sachant que j'ai peur du coup d'en perdre la garde ?
Merci pour votre réponse
Magalie