Changement de résidence principal en outre mer

Bonjour,
Je suis fonctionnaire et suis muté en outre mer, à MAYOTTE, pour une durée de 2 ans à partir de fin 2010. Ma concubine souhaite me suivre naturellement, avec son enfant agé de 8 ans, dont elle possède la garde depuis son divorce en 2008. Le problème est que le père de ce dernier qui possède un droit de visite et d'hébergement, s'oppose catégoriquement à son départ et refuse tout arrangement possible. Avons nous un recours? Peut il vraiment nous empecher de partir? Devons nous abandonner notre projet, sachant que le divorce a été prononcé par consentement mutuel, malgré qu'il résultait d'une faute du père? Merci.