Vente d'un bien immobilier

J'ai mis en vente une maison dans les landes. Le 1er janvier 2008, un couple m'a dit vouloir acheter la maison et de prendre contact avec un notaire, ce que j'ai fait. Les acquereurs n'ayant pas besoin de faire un crédit, le notaire m'a dit qu'il n'y avait pas besoin de faire un compromis de vente. La maison étant un peu excentrée du village et possédant un terrain agricole, une demande auprès de la safer a été faite. Deux mois d'attente !! J'ai sollicité le notaire fin février afin de faire avancer le dossier. La clerc de notaire a essayé de contacter les acquereurs à plusieurs reprises par tph, sans succès. J'ai également essayé de les contacter, sans succès. Le projet leur a été envoyé par courrier et ils se sont rétractés jsute avant la fin du délai légal des 7 jours.
Je croyais qu'un compromis de vente protégeait tant l'acquereur que le vendeur. Je pense que le notaire a commis une faute en ne nous faisant pas signer un compromis de vente dès début janvier. Il affirme que c'est la loi et que même si un sous sceing privé avait été signé, les acquéreurs en se rétractant au moment de la signature ne nous auraient rien du. Qu'en est-il réellement? Puis-je me retourner contre le notaire ou un vendeur peut-il se faire avoir sans rien dire ? Merci par avance pour votre réponse