Travaux pendant la période de préavis légal?

Mon agence vient de m'informer par lettre que des travaux seront effectués pour le changement des fenêtres à partir du 26 mai alors que nous louons l'appartement jusqu'au 31 mai.
La question est:des travaux peuvent-ils etre effectués lors de la période de préavis?
Surtout que nous sommes dispo que le 26 mai le 27/28/29 nous sommes en plein déménagement (ce qui est logique en fin de location).
De plus la lettre nous demande en cas d'abscence de leur remettre les clefs.Ceci est inconcevable de laisser entrer et faire des travaux durant notre déménagement.
J'ai lu que des travaux ne pouvaient pas etre effectués lors de l'état des lieux.Est ce vrai?
Merci