Droit de garde lors du déménagement d'un des parents

Bonjour,
Je suis mère de 2 filles âgées de 3 mois et 16 mois. Lors de la naissance de ma 1ère fille, le père et moi, nous sommes installés ensemble dans sa région alors que j'étais originaire d'une autre région (distante de 250 km). Nous vivions en union libre.
Aujourd'hui, nous nous séparons (je suis à l'initiative de la rupture) et je souhaite retourner vivre dans ma région car ici je n'ai ni famille ni amis. Je suis en congé parental et lui travaille (un travail dans lequel il s'investit beaucoup et qu'il ne le rend pas très présent au domicile les jours de semaine). Je lui propose donc de vivre avec les filles (dans ma région) la semaine et de lui amener les filles tous les week-end. Je lui ai aussi proposé de se les partager une semaine sur deux s'il trouve un mode de garde.
Lui n'accepte pas cette idée et exige que je reste vivre dans sa région. Il avance, entre autres, l'argument qu'il ne sera pas possible de mettre en place une garde alternée lorsqu'elles seront scolarisées.
Peut-il s'opposer à mon déménagement?
Si nous allons devant le JAF est-il possible que je sois "pénalisée" parce que c'est moi qui veux déménager?
Merci de me répondre car cette situation m'angoisse énormément, je ne conçois pas que le père ait la garde exclusive mais en même temps, je n'imagine pas rester vivre dans une région où je n'ai aucune attache!