Modification de mon contrat de travail

Bonjour,
Je suis depuis 1 an femme de ménage dans une propriété privée dans le cadre d'un CDI.
Il y a deux mois, mon employeur m'a proposé le poste de gardien avec occupation gratuite du logement prévu à cet effet. J'ai déménagé avec ma famille.
Nous avons conclu verbalement une période d'essai d'un mois, laquelle est dépassée de 15 jours maintenant.

Aujourd'hui, mon employeur me demande -au téléphone- de plier bagages et de quitter mon poste. Que dois-je faire ? Ai-je des droits ? le droit d'exiger de revenir à mon ancien poste ? de demander des dommages et intérêts.

Je n'ai aucun écrit qui prouve que j'ai changé de fonctions sauf le fait que je me trouve avec ma famille dans la maison du gardien. Partir reviendrait-il à un abandon de poste ?
Mille mercis pour votre aide !