Lemma

¿Qué es Lemma?

Lemma es una plataforma de observabilidad y evaluación construida específicamente para agentes de AI en lugar de software tradicional. Captura trazas de ejecución completas de ejecuciones de agentes—cubriendo llamadas LLM, uso de herramientas, pasos de recuperación, latencia y errores—para que los equipos puedan identificar exactamente dónde y por qué un agente falló. Más allá del monitoreo pasivo, Lemma cierra el ciclo de retroalimentación convirtiendo señales de usuario reales y patrones de fallo detectados en mejoras concretas de prompt y comportamiento, con el objetivo de reducir significativamente el tiempo de depuración manual.

Características Principales

• Visualización de trazas de Agent

  Muestra el árbol de ejecución completo de cada ejecución del agente, incluyendo llamadas LLM, invocaciones de herramientas, pasos de recuperación, tiempos y puntos de error para una depuración profunda.

• Búsqueda semántica de trazas

  Cada traza está embebida y es buscable usando lenguaje natural, permitiendo a los equipos encontrar patrones de fallo como alucinaciones o intenciones mal enrutadas sin un lenguaje de consulta.

• Descubrimiento automático de clústeres

  Agrupa continuamente trazas similares para identificar clústeres de fallo emergentes y anomalías de comportamiento antes de que los equipos piensen en buscarlos.

• Monitoreo de producción y alertas

  Rastrea métricas como latencia, tasa de error y éxito de llamadas a herramientas, abriendo automáticamente incidentes con análisis de causa raíz cuando se rompen los umbrales.

• Framework de evaluación

  Combina evaluaciones en línea automatizadas con señales de usuario observadas como clics de feedback o conversiones para medir el rendimiento del agente más allá de métricas sintéticas.

• Integraciones nativas de OpenTelemetry

  Se conecta a los stacks existentes mediante exportación OTLP, con soporte nativo para Vercel AI SDK, OpenAI Agents, Langfuse, Arize Phoenix y Azure Monitor.

Casos de Uso

• Depuración de Agent AI : Los equipos de ingeniería inspeccionan spans anidados, entradas y salidas para diagnosticar por qué un agente seleccionó la acción o herramienta incorrecta durante una sesión en vivo.
• Detección de regresión : Los equipos de producto capturan derivas de rendimiento silenciosas después de actualizaciones de prompt o modelo antes de que escalen a quejas de usuarios.
• Optimización de Agent de soporte al cliente : Los equipos de soporte usan clustering de trazas y señales de feedback para identificar solicitudes mal enrutadas recurrentes y refinar la lógica del agente.
• Resolución de problemas conectada al IDE : Los desarrolladores consultan trazas directamente desde Cursor, Claude Desktop o Claude Code a través del servidor Lemma MCP sin salir de su entorno de codificación.
• Despliegues sensibles al cumplimiento : Las organizaciones que manejan datos sensibles confían en la certificación SOC 2 Type II de Lemma y el aislamiento de datos para un monitoreo seguro de agentes.

Preguntas Frecuentes