Congés payés après la période de retractation

Bonjour,
Travaillant dans le bâtiment, après une longue période de maladie non professionnelle, (pendant la période de maladie), j'ai signé une rupture conventionnelle le 2 mai 2016, la période de rétractation est finie le 17 mai, comme je suis toujours employé de mon entreprise jusqu'au 10 juin 2016 et que mon arrêt maladie est fini le 18 mai, le 19 mai je suis allé travailler, mais à ma grande surprise, mon employeur me dit que je suis obligé de prendre mes congés payés qui iront jusqu'à la fin du contrat (10 juin 2016), suis-je obligé d'accepter ? est-ce légal qu'on m'impose de prendre les congés payés alors que j'ai besoin de travailler ?
Merci de m'éclairer.
Cordialement,