REX Malt : De l'expérimentation à la production, adapter son infrastructure d'Observabilité pour la GenAI

L’usage interne et le déploiement massif en production de solutions utilisant l’IA générative apportent leur lot de challenges : explosion des coûts, enjeux de confidentialité, SLA ou encore non-déterminisme dans l’exécution. Dans cette situation, comment garder le contrôle ?

Une première réponse que nous avons apportée chez Malt a été de mettre à jour notre stack d’observabilité pour répondre à ces nouveaux besoins.

Dans ce retour d’expérience technique, nous vous proposerons d’explorer les coulisses de notre architecture :

• Standardisation OpenTelemetry : Comment nous utilisons OTEL comme standard pour les traces LLM et comment nous l’avons adapté à nos différentes stacks techniques (Python et écosystème JVM/Spring).
• Architecture & Data Pipeline : La configuration de notre pipeline de collecte (OTEL Collector, routage sélectif vers Datadog) ainsi que les astuces pour le déboguer efficacement.
• Piloter le ROI : Comment nous monitorons l’adoption et les coûts de l’IA en interne, notamment les agents de code utilisés par nos développeurs (Claude Code).
• Démocratisation avec Langfuse : Pourquoi et comment nous avons donné l’accès aux traces au plus grand nombre via cette “LLM engineering platform”.

En bref : les bonnes pratiques, les standards de demain et les erreurs à éviter pour opérer vos LLM en toute sérénité.