Démission et congés payers

Bonjour,
je suis infirmière en CDI contractuel dans la fonction publique hospitalière depuis 2ans 1/2
je suis actuellement en congé maternité jusqu'au 15 juillet, j'ai donné ma demission à mon employeur qui prendra effet à la fin de celui ci
La DRH vient de m'appeler pour me dire qu'il fallait que je prenne mes congés annuels sinon ils seraient perdus car non payés malgré ma demission
je ne peux pas les prendre à la fin de mon congé maternité car j'ai trouvé un nouveau poste plus intéréssant et je viens de voir que je ne pouvais pas cumuler les congés payers et le nouveau poste.
Ma question est : est-ce que mon employeur a le droit de refuser de me payer mes congés annuels?