Construction via CCMI et taxe PAE

Bonjour,

J'ai fais la construction d'une maison individuelle sur une parcelle achetée auprès d'un lotisseur dans le cadre de la constitution d'un lotissement.
A cet effet, nous avons du nous acquitter de la taxe d'aménagement.
En parallèle, la taxe PAE a été demandée à mon lotisseur car c'est la mairie de notre lieu de résidence qui a délibéré que c'était au lotisseur de la payer.
Toutefois, aujourd'hui le lotisseur revient vers nous et nous demande de lui rembourser en s'appuyant sur un paragraphe de l'acte de vente qui indique " que le bénéficiaire devra à compter de son entrée en jouissance s'acquitter de toutes les taxes pour lequel le bien peut ou pourra être assujetti." toutefois nous n'avons eu les clefs de notre bien que le 27/06/2018 alors que le lotisseur nous réclame le remboursement de cette taxe depuis 1 an.
suis-je obliger de leur rembourser et dans le cas où je ne suis pas obligée de les rembourser comment dois-je procéder et sur quoi m'appuyer ?

merci d'avance.