Refus prise en charge accident de travail

Bonjour
J'ai récemment eu un accident de travail suite à un déchargement de menuiseries assez lourdes un vendredi (je travaillais seul). J'ai averti mon patron le vendredi mais je ne suis allé chez le docteur que le lundi matin pensant que la douleur disparaitrait pendant le week-end. Mon patron a reconnu l'accident de travail et m'a délivré les papiers nécessaires. Par la suite j'ai reçu un courrier de la CPAM en refusant l'accident de travail car il "n'existe pas de preuve que l'accident invoqué se soit produit par le fait ou à l'occasion du travail, ni même de présomptions favorables précises et concordantes en cette faveur".
Quels seraient vos conseils pour pouvoir contester cette décision?
Merci d'avance.
Hamid