Noveum.ai

闭环评估平台，为生产环境中的聊天、语音和工作流 AI Agent 提供追踪、评分，并交付经过验证的修复。

社区:

AI 测试与质量保障 AI 智能体开发监控与日志管理 AI 开发者工具

访问官网

Atoms - 用 AI 轻松构建网站与应用

StoreClaw

Sponsor

为在线卖家打造的自主电商引擎，全天候监控、执行并增长您在所有主流电商平台上的店铺——无需人工干预。

概览
替代方案
数据分析

Atoms - 用 AI 轻松构建网站与应用

产品概览

什么是Noveum.ai？

Noveum.ai 是一个面向在生产环境中运行 AI Agent 的工程团队的 Agent 评估与修复平台。它不止步于标记失败：通过开源 SDK 捕获每一次 LLM 调用、工具调用和 Agent 步骤，使用 100 多个校准评分器为运行结果打分，并借助 NovaPilot 引擎生成候选修复方案。每个修复都会针对失败的调用进行回测，并经过端到端重新模拟，之后 Noveum 才会将其作为 pull request 提交，供人工审核并合并。平台支持聊天、语音和多步骤工作流 Agent，深度集成 LangChain、LangGraph、LiveKit、Pipecat 和 CrewAI 等框架，并为有严格数据驻留要求的企业提供本地部署或自带 ClickHouse 的部署方式。

主要功能

NovaTrace 可观测性
开源 SDK 可捕获每一次 LLM 调用、工具调用、检索和 Agent 步骤，并在每个 span 上记录 token、成本和延迟数据，与 OpenTelemetry 对齐。
100+ 校准评分器
生产环境的 trace 会被自动采样，并由大量预调优的评分器进行评估，无需手动整理数据集。
NovaPilot 自动修复
将失败追溯到根因，生成候选修复方案，并通过回测和完整的重新模拟验证后，再提交 pull request。
多 Agent 框架支持
原生集成 LangChain、LangGraph、LiveKit、Pipecat 和 CrewAI，覆盖聊天、语音和多步骤工作流 Agent 架构。
企业级部署控制
支持本地部署、VPC 或自带 ClickHouse 部署，提供 SSO/SAML、RBAC 和审计日志，SOC 2 Type II 认证正在进行中，并符合 GDPR 合规要求。
高吞吐追踪
经压力测试可达每秒 15,000 个 span，在生产环境中每天处理超过 6000 万个 span。