Lemma

Что такое Lemma?

Lemma — это платформа наблюдаемости и оценки, специально созданная для AI-агентов, а не для традиционного программного обеспечения. Она фиксирует полные трассировки выполнения запусков агентов — охватывая вызовы LLM, использование инструментов, шаги поиска, задержку и ошибки — чтобы команды могли точно определить, где и почему агент ошибся. Помимо пассивного мониторинга, Lemma замыкает цикл обратной связи, превращая реальные пользовательские сигналы и обнаруженные шаблоны сбоев в конкретные улучшения промптов и поведения, стремясь значительно сократить время ручной отладки.

Ключевые функции

• Визуализация трассировки Agent

  Отображает полное дерево выполнения каждого запуска агента, включая вызовы LLM, вызовы инструментов, шаги поиска, временные метки и точки ошибок для глубокой отладки.

• Семантический поиск трассировок

  Каждая трассировка встраивается и может быть найдена с помощью естественного языка, позволяя командам находить шаблоны сбоев, такие как галлюцинации или неправильно направленные намерения, без языка запросов.

• Автоматическое обнаружение кластеров

  Непрерывно группирует похожие трассировки, чтобы выявлять возникающие кластеры сбоев и поведенческие аномалии до того, как команды начнут их искать.

• Мониторинг продакшена и оповещения

  Отслеживает метрики, такие как задержка, частота ошибок и успешность вызовов инструментов, автоматически создавая инциденты с анализом первопричин при превышении пороговых значений.

• Фреймворк оценки

  Сочетает автоматизированные онлайн-оценки с наблюдаемыми пользовательскими сигналами, такими как клики по обратной связи или конверсии, для измерения производительности агента помимо синтетических метрик.

• Встроенные интеграции OpenTelemetry

  Подключается к существующим стекам через экспорт OTLP с нативной поддержкой Vercel AI SDK, OpenAI Agents, Langfuse, Arize Phoenix и Azure Monitor.

Варианты использования

• Отладка AI-агентов : Инженерные команды проверяют вложенные spans, входные и выходные данные, чтобы диагностировать, почему агент выбрал неправильное действие или инструмент во время живой сессии.
• Обнаружение регрессии : Продуктовые команды выявляют незаметное снижение производительности после обновлений промптов или моделей до того, как они перерастут в жалобы пользователей.
• Оптимизация агента поддержки клиентов : Команды поддержки используют кластеризацию трассировок и сигналы обратной связи для выявления повторяющихся неправильно направленных запросов и улучшения логики агента.
• Устранение неполадок через IDE : Разработчики запрашивают трассировки напрямую из Cursor, Claude Desktop или Claude Code через сервер Lemma MCP, не покидая среды разработки.
• Развертывания с учетом соответствия требованиям : Организации, работающие с конфиденциальными данными, полагаются на сертификацию SOC 2 Type II компании Lemma и изоляцию данных для безопасного мониторинга агентов.

Часто задаваемые вопросы