Ets similaire avec clientèle différente

J'ai travaillé 3 mois pour une entreprise en intérim.
J'avais en charge de développer la clientèle, essentiellement la restauration collective, via de la prospection téléphonique sur un listing tiré des pages jaunes ou autres support ouvert à tous.
Le dirigeant ne souhaitait décroché que des contats importants et ne voulait pas "faire de l'épicerie"
Mon contrat ayant cessé au mois de mai, j'ai créé ma propre entreprise qui se base sur les mêmes produits.
Toutefois, la clientèle est complètement différente puisque je cible les commerçants et les particuliers ainsi que les organisateurs d'événement (lesquels il refusait).
Depuis, ce dernier semble dire qu'il a changé d'avis et semble croire que je n'avais pas le droit de m'installer à mon compte.
A-t-il raison ? Ai-je commis une erreur ? Ou bien est-ce lui qui se trompe ?