Diminution prix de cession d'une Plus-value immobiliere

Bonjour Monsieur,
Suite à la vente en juin 2012 de notre pavillon, nous sommes assujettis à la plus-value. En effet, nous avions établi un compromis avec un acquéreur pour un montant de 463 000 €. Celui-ci a fait quelques temps après une substitution partielle du bien. De notre côté, nous étions engagés par un compromis pour un achat de pavillon et quand nous l'avons appris, il n'était plus possible de nous désengager de cette vente.
En conclusion notre acheteur a acheté le terrain et le garage : 173 000 €(pour y construire 2 petits pavillons) et la maison : : 310 000€ a été acquise par le substitut. Sur l'acte de vente notre terrain a été désigné terrain à bâtir. Je précise que malgré cette substitution le prix de vente n'a pas varié. Le notaire nous a avertit la veille de la vente que nous étions redevables de ce fait d'une plus-value, il n'a pas retiré la somme de 24000 euros de la vente et nous a dit que nous serions contactés par les impôts. Or, il n'a pas envoyé l'imprimé 2048 IMM.
En novembre 2015, nous avons reçu une proposition de rectification pour une somme de 28 742€ à laquelle s'ajoutent les intérêts de retard et les majorations soit 38 445€. Je suis dans la procédure contradictoire et le notaire propose de recalculer le montant de la plus-value en intégrant une partie des frais d'agence (recalculés pour la partie terrain-garage, je pense) soit 9000€. Est ce possible dans notre cas ? J'ai vu sur internet qu'il y a cette possibilité prévue par décret 2003-1386 du 31.12.2003. Est ce que l'inspecteur des impôts peut refuser ? D'autres minorations sont elles possibles ? Notre situation familiale peut elle influer : 2 retraités avec 2 enfants adultes majeurs handicapés ? J''ai obtenu un délai pour répondre (fin janvier 2016) mais nous sommes démunis pour argumenter auprès des impôts. Merci de nous renseigner. Salutations distinguées.