Remboursement plus-value exonérée

Bonjour,
Lors de la cession d'un bien immobilier, il y a deux ans exactement, j'ai bénéficié d'une exonération de la plus-value, conditionnée au remploi de tout ou partie de cette cession dans l'achat, dans les 24 mois, d'une résidence principale.

N'ayant pu acheter cette résidence principale, je dois donc m'acquitter cette année du remboursement de la plus-value exonérée, auquel s'ajoutera le paiement des indemnités de retard.

Ma question est la suivante:

Y a-t-il un risque d'amende si j'attends que le Trésor public me signifie le paiement de cette plus-value?

Merci d'avance pour vos réponses.
Cordialement