Lemma

Qu'est-ce que Lemma ?

Lemma est une plateforme d'observabilité et d'évaluation spécialement conçue pour les agents AI plutôt que pour les logiciels traditionnels. Elle capture les traces d'exécution complètes des exécutions d'agents—couvrant les appels LLM, l'utilisation d'outils, les étapes de récupération, la latence et les erreurs—afin que les équipes puissent identifier précisément où et pourquoi un agent s'est trompé. Au-delà de la surveillance passive, Lemma ferme la boucle de feedback en transformant les signaux utilisateur réels et les modèles d'échec détectés en améliorations concrètes de prompt et de comportement, visant à réduire considérablement le temps de débogage manuel.

Fonctionnalités clés

• Visualisation des traces d'Agent

  Affiche l'arbre d'exécution complet de chaque exécution d'agent, incluant les appels LLM, les invocations d'outils, les étapes de récupération, le timing et les points d'erreur pour un débogage en profondeur.

• Recherche sémantique de traces

  Chaque trace est intégrée et recherchable en langage naturel, permettant aux équipes de trouver des modèles d'échec comme les hallucinations ou les intentions mal routées sans langage de requête.

• Découverte automatisée de clusters

  Regroupe continuellement les traces similaires pour faire émerger les clusters d'échec émergents et les anomalies comportementales avant que les équipes ne pensent à les chercher.

• Surveillance et alertes en production

  Suit des métriques telles que la latence, le taux d'erreur et le succès des appels d'outils, ouvrant automatiquement des incidents avec analyse de cause racine lorsque les seuils sont dépassés.

• Framework d'évaluation

  Combine les évaluations en ligne automatisées avec les signaux utilisateur observés comme les clics de feedback ou les conversions pour mesurer les performances de l'agent au-delà des métriques synthétiques.

• Intégrations natives OpenTelemetry

  Se connecte aux stacks existantes via l'export OTLP, avec support natif pour Vercel AI SDK, OpenAI Agents, Langfuse, Arize Phoenix et Azure Monitor.

Cas d'utilisation

• Débogage d'Agent AI : Les équipes d'ingénierie inspectent les spans imbriqués, les entrées et sorties pour diagnostiquer pourquoi un agent a sélectionné la mauvaise action ou outil lors d'une session en direct.
• Détection de régression : Les équipes produit détectent les dérives de performance silencieuses après les mises à jour de prompt ou de modèle avant qu'elles ne se transforment en plaintes des utilisateurs.
• Optimisation d'Agent de support client : Les équipes de support utilisent le clustering de traces et les signaux de feedback pour identifier les requêtes mal routées récurrentes et affiner la logique de l'agent.
• Dépannage connecté à l'IDE : Les développeurs interrogent les traces directement depuis Cursor, Claude Desktop ou Claude Code via le serveur Lemma MCP sans quitter leur environnement de codage.
• Déploiements sensibles à la conformité : Les organisations traitant des données sensibles s'appuient sur la certification SOC 2 Type II de Lemma et l'isolation des données pour une surveillance sécurisée des agents.

FAQ