Lemma

帮助AI Agent从生产环境失败和用户反馈中学习的可观测性和评估平台。

社区:

监控与日志管理 AI 开发者工具 AI 智能体开发

访问官网

Atoms - 用 AI 构建网站与应用，无需编码

StoreClaw

Sponsor

为在线卖家打造的自主电商引擎，全天候监控、执行并增长您在所有主流电商平台上的店铺——无需人工干预。

概览
替代方案
数据分析

Atoms - 用 AI 构建网站与应用，无需编码

产品概览

什么是Lemma？

Lemma是一个专为AI Agent而非传统软件构建的可观测性和评估平台。它捕获Agent运行的完整执行追踪——涵盖LLM调用、工具使用、检索步骤、延迟和错误——让团队能够精确定位Agent在何处以及为何出错。除了被动监控，Lemma还通过将真实用户信号和检测到的失败模式转化为具体的提示词和行为改进来闭环反馈，旨在显著减少人工调试时间。

主要功能

Agent追踪可视化
显示每次Agent运行的完整执行树，包括LLM调用、工具调用、检索步骤、时间消耗和错误点，便于深度调试。
语义化追踪搜索
每条追踪都被嵌入并可通过自然语言搜索，让团队无需查询语言即可找到幻觉或意图误判等失败模式。
自动聚类发现
持续对相似追踪进行分组，在团队主动查找之前就能发现新出现的失败聚类和行为异常。
生产环境监控和告警
追踪延迟、错误率和工具调用成功率等指标，当阈值被突破时自动创建包含根因分析的事件。
评估框架
结合自动化在线评估和用户反馈点击或转化等观察信号，衡量Agent性能，超越合成指标的局限。
OpenTelemetry原生集成
通过OTLP导出接入现有技术栈，原生支持Vercel AI SDK、OpenAI Agents、Langfuse、Arize Phoenix和Azure Monitor。