Le fait que vous avez laissé les fruits sur l'arbre n'est pas la raison pour laquelle il perd ses feuilles. Mais s'ils sont murs, mieux vaut les cueillir.
Il se peux qu'il se soit épuisé par cette belle fructification.
Je pense qu'une taille (légère en cette saison) pour lui donner une belle forme ne lui ferait pas trop de mal et un peu d'engrais pour le faire repartir.