Noveum.ai

閉環評估平台，為正式環境中的聊天、語音與工作流程 AI Agent 提供追蹤、評分，並交付經過驗證的修復。

社群:

AI 測試與品質保證 AI 智能體開發監控與日誌管理 AI 開發者工具

造訪網站

Atoms - 用 AI 輕鬆打造網站與應用

StoreClaw

Sponsor

為線上賣家打造的自主電商引擎，全天候監控、執行並成長您在所有主流電商平台上的商店——無需人工介入。

概覽
替代方案
分析

Atoms - 用 AI 輕鬆打造網站與應用

產品概覽

Noveum.ai 是什麼？

Noveum.ai 是專為在正式環境中運行 AI Agent 的工程團隊打造的 Agent 評估與修復平台。它不只是標記失敗：透過開源 SDK 擷取每一次 LLM 呼叫、工具呼叫與 Agent 步驟，以 100 多個校準評分器為執行結果評分，並藉由 NovaPilot 引擎產生候選修復方案。每個修復都會針對失敗的呼叫進行回測，並經過端到端重新模擬，之後 Noveum 才會將其以 pull request 形式提交，交由人員審核並合併。平台支援聊天、語音與多步驟工作流程 Agent，深度整合 LangChain、LangGraph、LiveKit、Pipecat 與 CrewAI 等框架，並為有嚴格資料落地需求的企業提供地端或自備 ClickHouse 的部署方式。

主要功能

NovaTrace 可觀測性
開源 SDK 可擷取每一次 LLM 呼叫、工具呼叫、檢索和 Agent 步驟，並在每個 span 上記錄 token、成本與延遲資料，與 OpenTelemetry 對齊。
100+ 校準評分器
正式環境的 trace 會被自動取樣，並由大量預先調校的評分器進行評估，不需手動整理資料集。
NovaPilot 自動修復
將失敗追溯至根本原因，產生候選修復方案，並經由回測與完整的重新模擬驗證後，再提交 pull request。
多 Agent 框架支援
原生整合 LangChain、LangGraph、LiveKit、Pipecat 與 CrewAI，涵蓋聊天、語音及多步驟工作流程 Agent 架構。
企業級部署控管
支援地端部署、VPC 或自備 ClickHouse 部署，提供 SSO/SAML、RBAC 與稽核日誌，SOC 2 Type II 認證進行中，並符合 GDPR 規範。
高吞吐量追蹤
經負載測試可達每秒 15,000 個 span，在正式環境中每日處理超過 6,000 萬個 span。