Polarity

AI Agent 向けのサンドボックス評価インフラストラクチャで、プロンプトレベルツールが見逃す障害モードを明らかにするために実際のバックエンドサービスを基盤に構築されています。

コミュニティ:

AIテスト＆QA AIエージェント開発

ウェブサイトを訪問

Atoms - AIでウェブサイト・アプリをノーコードで構築

Atoms

Sponsor

コーディング不要。数分でアイデアを検証し、Webサイトやアプリを構築して、最初の顧客を獲得できます。

概要
代替品
分析

Atoms - AIでウェブサイト・アプリをノーコードで構築

製品概要

Polarityとは？

Polarity は、本番環境で実行される AI Agent 専用に設計された評価インフラストラクチャプラットフォームです。コアエンジンである Keystone は、モック依存関係ではなく、実際のバックエンドサービス（Postgres、Redis、S3、内部 API）が事前ロードされた分離された Docker サンドボックス内で各 Agent タスクを起動します。この実サービスアプローチにより、Polarity は、Braintrust、LangSmith、Langfuse などの軽量プロンプトレベル評価ツールが通常見落とすステートフルな多段階障害パターンを正確に検出できます。検出されたすべての障害には、単一のコマンドでローカルに正確に同じサンドボックスを再作成するシード再現器が付属しており、デバッグサイクルを大幅に短縮します。

主な機能

実サービスサンドボックス分離
各 Agent タスクは、Postgres、Redis、S3、内部 API インスタンスが事前ロードされた専用の Docker サンドボックス内で実行され、シミュレーションではなく実際の本番環境条件を反映した評価を保証します。
行動不変量スコアリング
Keystone は、設定可能な行動不変量と禁止アクションルールに基づいてすべての Agent 実行をスコアリングし、Agent が意図された境界内で動作しているかどうかについて、チームに構造化されたシグナルを提供します。
非決定性測定
同一の入力に対して Agent の出力がどれだけ変化するかを定量化するために実行を自動的に複製し、本番環境に現れる前に信頼性の問題を明らかにします。
ワンコマンド障害再現
すべての失敗した実行には、正確なサンドボックス環境をローカルで再作成するシード再現器が付属しており、開発者は手動で環境を再構築することなく複雑な Agent 障害をデバッグできます。
自動化されたコードレビューとテスト
@paragon-review によるプルリクエストレビューとエンドツーエンドテストインフラストラクチャが組み込まれており、本番環境に到達する前にリグレッションとバグをキャッチします。
リアルタイム監視と CLI アシスタント
リアルタイムアラートを備えたアプリケーション監視と、コマンドラインから直接コードを記述、レビュー、管理できるターミナルベースのアシスタント（Paragon CLI）が補完されています。

ユースケース

本番環境 Agent 評価 : 本番環境で AI Agent を実行するエンジニアリングチームは、Polarity を使用して実際のステートフルサービス全体で Agent の動作を継続的に評価し、現実的な条件下でのみ現れる障害モードをキャッチします。
複雑な多段階 Agent テスト : 長時間実行される多段階エージェントワークフローを構築するチームは、Polarity に依存して、実行チェーン全体にわたる正しいシーケンス、状態の永続性、サービスの相互作用を検証します。
Agent 信頼性ベンチマーク : 組織は、Agent のバージョンまたは構成間の非決定性を測定および比較し、より広範な展開前に安定性の改善に優先順位を付けることができます。
迅速な障害デバッグ : 開発者はシード再現器を使用して、正確な障害条件をローカルで即座に再作成し、再現が困難なステートフルバグの調査時間を短縮します。
CI/CD パイプライン統合 : 開発チームは、Polarity のコードレビューとテストツールをプルリクエストワークフローに組み込み、すべてのコード変更時に品質ゲートを自動的に適用します。