Problème avec un vendeur par correspondance

Bonjour,

J'ai acheté un livre sur xxxxxx.fr à un vendeur tiers .
Sur le bon de commande et sur la facture imprimée lors de la commande sur xxxxxx.fr , il apparait que le livre est neuf.
Hors lorsque j'ai reçu le livre, il était abimé et la facture dans le colis indique: Exemplaire neuf, mais déchirures au mors du second plat.
J'ai informé le vendeur que le livre était abimé et ce dernier soutient que je le savais à la commande car il l'avait indiqué dans les observations comme Exemplaire neuf, mais déchirures au mors du second plat, (ce qui apparait sur la facture dans le colis).
Je n'ai pas moyen de vérifier ses dires, le seul document que j'ai en ma possession étant le bon de commande ou il n'apparait pas cette information, juste "état: neuf".
J'ai donc fait une réclamation à xxxxxx qui m'a remboursé sans demander avis du vendeur.
Ce dernier, m'a envoyé une lettre recommandée avec accusé de réception me menaçant de porter plainte contre moi pour vol et me demande de lui renvoyer son livre.
Je ne vois pas d’inconvénient à lui renvoyer ce dernier mais j'estime que c'est à lui de payer les frais de port retour compte tenu que le livre n'est pas conforme au bon de commande.
Suis je dans mon droit? et comment dois je procéder afin de lui renvoyer son livre sans payer les frais de port, de plus quel son ses recours s'il ne veut pas réceptionner le livre si je lui envois en contre remboursement des frais de port?

Merci par avance des informations que vous voudrez bien me fournir.