Modification contrat de travail à mon initiative

Bonjour,
Je suis en CDI depuis plus d'un an en qualité de secrétaire polyvalente. Mon contrat prévoit que je dois travailler pour 2 personnes différentes.
Il se trouve que l'une des personnes avec qui je dois travailler, qui est DRH et assistante de direction, me donne rarement du travail. Le peu qu'elle me donne à faire, elle me le reprend aussi vite, ou au bout d'un an, sans motif particulier. Je travaille donc pour l'autre personne à temps plein.
J'ai donc demandé à mon employeur un avenant à mon contrat de travail modifiant mon statut de secrétaire polyvalente en secrétaire, et modifiant mes tâches, à savoir que je ne travaillerai plus pour la DRH, mais uniquement pour l'autre personne. Il a refusé cette modification dès le premier abord. En a-t'il le droit ? Cette personne pour qui je suis sensée travailler à mi-temps "ne veut pas" de cette modification, car, selon mon employeur, elle veut me garder sous sa coupe.
J'aimerais connaître mes droits en la matière.
Merci par avance de votre réponse.