Détachement entre fonctions publiques

Bonjour,
Je suis actuellement fonctionnaire territoriale en disponibilité pour convenances personnelles . Je souhaite intégrer la fonction publique d'état par détachement et pour cela j'en ai informé mon dernier employeur . Celui ci répond défavorablement à ma demande dans la mesure où mon poste est actuellement pourvu et que le fait de me détacher peut m'amener un jour à solliciter un retour au sein du service ce qui n'est pas envisageable puisque surnombre.
Quel recours ai-je ? Sachant que je ne peux pas faire un dossier de détachement sans que ma collectivité initiale ne soit informée.
Merci de m'apporter des éclaircissements