Non restitution dépôt de garantie / bail commercial

Bonjour,

Le bailleur refuse de nous restituer la totalité de notre dépôt de garantie.
Dans quels cas en a-t-il le droit?
Nous avons effectuer tout les travaux de remises en état du local commercial.
Par contre il n'a pas répondu à notre demande de faire un etat des lieux de sortie
ensemble.
Nous avons eu un accident avec le camion de déménagement, qui a abimé un pilier du portail de la cours de l'immeuble (partie commune). Les assurances respectives devraient fonctionner. Mais il nous retient une partie du dépôt de garantie en attendant de savoir si les assurances rembourseront ou non.
En-a-t-il le droit?