Partage des biens après divorce

Mariés sous le régime de la communauté, nous avons acheté une maison en 2001. Mon mari est parti en février 2004 (non conciliation en septembre 2004 qui m'accordait la maison pour logement avec les enfants). Divorce prononcé en décembre 2007.
Nous sommes passés devant le notaire en avril pour le partage des biens. Il a été convenu verbalement que je gardais la maison sous conditions de rembourser les prêts restants et en versant une soulte à mon ex-conjoint "pour solde de tout compte". Je suis actuellement en démarches pour obtenir un prêt. Mais rien n'a encore été signé, ni pour le prêt, ni chez le notaire.

Peut-il exiger actuellement de venir chez moi pour récupérer des affaires achetées pendant la communauté ? (Sachant qu'il a eu 1 mois avant la conciliation pour prendre ce qu'il voulait dans la maison et que depuis 4 ans, il n'a rien demandé) et si je refuse (je n'ai pas envie de le voir chez moi), peut-il faire annuler la vente ?

Merci de votre réponse.