Annualisation CAE et heures dues

Bonjour,
Je viens vers vous car je suis dans une situation un peu compliquée.
Je suis actuellement en CDD CAE d'un an en 35 h annualisées (mais payé le même salaire tous les mois, quelques soit les heures faites). Il s'avère que les plannings depuis le début font que mes collègues et moi-mêmes nous retrouvons avec un déficit d'heures (environ une 40aine). Les premiers mois, c'était mon employeur qui faisait les plannings, et il nous arrivait de nous retrouver en 17h par semaine. Puis, par la suite, nous avons eu la charge de faire les plannings, qu'il vérifiait et adaptait par la suite. Nous lui envoyions donc des plannings qui nous faisaient du 35h par semaine, et là, 4h qui saute etc dans le planning définitif...
Ma question est donc: Comment cela va t-il se passer à la fin de mon contrat? Vais-je devoir rembourser ses heures manquantes à mon employeur? Il nous demande de faire des remplacements etc parce que l'on doit des heures, ça me parait logique (même si faire 100h en 2 semaines me dépasse un peu...), mais il a sous entendu également que nous lui devrons ses heures manquantes à la fin du contrat.
J'attends vos conseils/ expériences à ce sujet, et merci à vous =).