1 million de requêtes LLM par mois : Comment optimiser coût, qualité et vitesse ?

Passer d’un prototype qui marche à un produit qui tient à l’échelle, c’est tout un art. Retour d’expérience sur le développement d’une application générant plusieurs millions d’emails par mois : les pièges qu’on n’avait pas anticipés, les leviers d’optimisation concrets (routing de modèles, caching, compression de contexte, évaluation automatisée) et comment on pilote aujourd’hui le triptyque coût / qualité / vitesse sans sacrifier l’un pour l’autre.