Autorité parentale et vacances

Bonjour,
Nous avons réservé un voyage de 3 semaines au mois d'octobre à Madagascar avec mon compagnon et mon fils de 2 ans et demi, et ce depuis le mois de mars. Seulement, nous sommes actuellement en conflit et il menace de tout annuler ou au mieux pour moi, de partir seule sans mon enfant. Je suis de nationalité française, je suis salariée de la fonction publique hospitalière. Je voulais donc savoir s'il a le droit de s'opposer à ce que j'emmène mon fils avec moi ? Si non, quel recours pourrais-je avoir en cas d'empêchement "physique" de sa part? ("Si tu prends le petit, il faudra me passer sur le corps" me dit-il...) Faut-il que je prévienne la gendarmerie pour anticiper?
Cordialement