Heures temporaires non comprises dans les congés payés, pourquoi

Je signe beaucoup d'avenants temporaires.

Pourquoi ces heures temporaires ne sont pas prises en compte dans mes congé payés ? Celles-ci m'ont été déduites de mon salaire d'août (3 semaines congés payés). Comme ces heures ne m'ont pas été payées, je voudrais comprendre pourquoi, qu'on me les a soustrait de mon salaire, ce qui me fait un manque à gagner ? Logiquement, mon salaire ne devrait pas être imputé.
La seule explication qu'on m'ai donné est que "je n'ai pas travaillé ces heures temporaires", donc elles ne comptent pas. Je voudrais en savoir plus sur ces avenants temporaires, et, surtout comprendre.
Mon patron ne veux ou ne peux pas me donner d'explication, j'aimerai une réponse, et je vous remercie