Refus permis de construire

En 1985 le maire a décidé de créer un POS dans la commune. Il a classé en zone verte notre terrain acheté constructible en 1975 (avec CU positif) ainsi que des terrains déjà construits.
En ce qui concerne notre terrain, lorsqu’on a demandé au maire puis à ses successeurs, le pourquoi de ce classement, s’il était motivé par des raisons d’urbanisme (en réf à l’Article R. 123-11 du code de l'urbanisme qui permet de protéger certains sites) aucune explication ne nous a été fournie sinon que la zone est devenue verte et qu’en conséquence il est interdit de construire dessus. En fait, la mairie ne s’est jamais intéressée à ce terrain qui ne répond à aucun des critères de l’article R.123-11.
Dans un tel cas ou le préjudice est important pour le propriétaire du terrain, peut-on considérer qu’il y a abus de pouvoir de la part de la mairie et si oui, la décision de non constructibilité peut-elle être annulée ?
NB : Existe-t-il une loi qui impose à un propriétaire de construire dans un délai prescrit après l’achat de son terrain ? Délai obligatoire quand on ne peut financer en même temps le crédit du terrain et la construction de sa maison en raison de revenus modestes et une famille à élever.