Noveum.ai

本番のチャット、音声、ワークフロー向けAIエージェントをトレースし、採点し、検証済みの修正まで届けるクローズドループの評価プラットフォーム。

コミュニティ:

AIテスト＆QA AIエージェント開発監視＆ログ管理 AI開発者ツール

ウェブサイトを訪問

Atoms - AIで簡単にサイト・アプリを構築

StoreClaw

Sponsor

オンライン販売者向けの自律的なコマースエンジンで、すべての主要なEコマースプラットフォームでストアを24時間365日監視、実行、成長させます。手動介入は不要です。

概要
代替品
分析

Atoms - AIで簡単にサイト・アプリを構築

製品概要

Noveum.aiとは？

Noveum.aiは、本番環境でAIエージェントを運用するエンジニアリングチーム向けの、エージェント評価・改善プラットフォームです。失敗を指摘するだけで終わらず、オープンソースSDKですべてのLLM呼び出し、ツール呼び出し、エージェントのステップを捕捉し、100以上のキャリブレーション済みスコアラーで実行結果を採点し、NovaPilotエンジンで修正案を生成します。各修正は失敗した呼び出しに対するバックテストとエンドツーエンドの再シミュレーションを経てから、Noveumがpull requestとして提出し、人が確認してマージします。チャット、音声、マルチステップのワークフローエージェントに対応し、LangChain、LangGraph、LiveKit、Pipecat、CrewAIなどのフレームワークと深く統合されています。厳格なデータレジデンシー要件を持つ企業向けに、オンプレミスや自社ClickHouseでのデプロイも提供しています。

主な機能

NovaTrace オブザーバビリティ
オープンソースSDKが、すべてのLLM呼び出し、ツール呼び出し、検索、エージェントのステップを捕捉し、各spanにトークン数・コスト・レイテンシを記録します。OpenTelemetryに準拠しています。
100以上のキャリブレーション済みスコアラー
本番のtraceを自動的にサンプリングし、手動でデータセットを用意することなく、事前にチューニングされた豊富なスコアラーで評価します。
NovaPilot による自動修正
失敗の根本原因をたどり、修正案を生成し、バックテストと完全な再シミュレーションで検証したうえで、pull requestを作成します。
マルチエージェントフレームワーク対応
LangChain、LangGraph、LiveKit、Pipecat、CrewAIとネイティブに統合し、チャット、音声、マルチステップのワークフローエージェントの各アーキテクチャに対応します。
エンタープライズ向けデプロイ制御
オンプレミス、VPC、または自社のClickHouseによるデプロイに対応し、SSO/SAML、RBAC、監査ログを提供します。SOC 2 Type IIは取得に向けて進行中で、GDPRにも準拠しています。
高スループットのトレーシング
毎秒15,000 spanまで負荷テストを実施済みで、本番環境では1日あたり6,000万spanを超える処理を行っています。

ユースケース

音声エージェントのデバッグ : 実際の通話で音声エージェントをテストし、専用の音声スコアラーで会話を採点し、リリース前に本番相当のシミュレーションで修正を検証します。
チャットエージェントの品質保証 : 本番のチャットtraceをそのまま実行できる評価に変換し、テストデータセットの手作業での作成やスコアラーの手動選択を不要にします。
ワークフローエージェントの監視 : マルチステップのエージェントについて、ツール呼び出し、ルーティングの判断、エンドツーエンドの結果を評価し、ステップ間で起きる失敗を見つけ出します。
規制産業でのデプロイ : 金融、通信、不動産のチームは、Noveumをオンプレミスまたは自社のClickHouseインスタンスで運用し、traceデータを自社のインフラ内に保持します。
手作業のデバッグからの移行 : ログの目視確認や、traceを別のAIツールにコピー＆ペーストする作業をやめ、spanやtrace、修正案を1つのプラットフォーム内で直接分析できます。