Oqoqo

AIエージェントがMCP、CLI、SDK、APIを通じて実際の製品を正しく使いこなせるかを測定する、評価とカスタムベンチマーク構築のためのプラットフォームです。

コミュニティ:

AIテスト＆QA AI開発者ツール

ウェブサイトを訪問

Atoms - AIでウェブサイト・アプリをノーコードで構築

StoreClaw

Sponsor

オンライン販売者向けの自律的なコマースエンジンで、すべての主要なEコマースプラットフォームでストアを24時間365日監視、実行、成長させます。手動介入は不要です。

概要
代替品
分析

Atoms - AIでウェブサイト・アプリをノーコードで構築

製品概要

Oqoqoとは？

Oqoqoは、人間だけでなくAIエージェントがソフトウェア製品の主要なユーザーになりつつある時代のために作られた評価プラットフォームです。実際のワークフローを反映しない汎用の公開ベンチマークに頼る代わりに、チームは平易な言葉で自分たちのタスクセットと成功基準を定義し、Claude Code、Codex、Cursorなどのエージェントに、製品インターフェースの異なるバージョンでそれらのタスクを試させます。すべてのトライアルは、本番環境でエージェントが遭遇するのと同じファイル、認証情報、ツールを備えた隔離された使い捨てサンドボックスで実行され、エージェントの各ステップは完全な実行トラジェクトリとして記録されます。その結果、合格率、ベースラインからの改善幅、トークンとコストのデータ、そして失敗の原因となった具体的なフリクションを報告するプライベートなベンチマークが得られ、プロダクトやドキュメントの問題を修正して随時再テストできます。

主な機能

プライベートなタスクセット & ルーブリック
チームが実際の業務タスクと合否基準を平易な言葉で記述し、バージョン管理されたベンチマークを完全に所有することで、今後の実行結果とも継続的に比較できます。
マルチエージェント・マルチモデルテスト
Claude Code、Codex、Cursor、GitHub Copilot、OpenCode、OpenClaw、Pi、Hermesで同一タスクを実行し、エージェントごとにモデルと処理強度を選んで、どれが最も優れているかを比較できます。
隔離されたサンドボックス実行
各トライアルは実際のエージェント運用環境に近い、まっさらな使い捨てクラウド環境で起動されるため、実行間のヒント漏洩を防ぎ、結果の再現性を保ちます。
実行トラジェクトリの完全記録
すべてのツール呼び出し、コマンド、ファイル変更、トークン数が記録され、評価者は各要件を個別に採点し、理由と引用を添えて記録できます。
フリクションと失敗の診断
矛盾するドキュメント、壊れたセットアップ手順、誤解を招くエラーメッセージなど、繰り返し発生する障害を深刻度と担当領域ごとに分類し、製品やインターフェースの何を修正すべきかを的確に示します。
CI/CD対応の回帰テスト
CLIやMCP経由でコード変更から実験を自動実行できるため、API・SDK・ドキュメントの更新がリリースされる前にエージェント体験の回帰を検出できます。

ユースケース

エージェント対応度テスト : 開発者ツールのチームが、コーディングエージェントが用意されたデモだけでなく実際のタスクでも自社のMCPサーバー、CLI、SDKを本当に発見し使いこなせるかを検証します。
モデル & Harnessの選定 : プロダクトチームがドメイン特化のワークフローで各エージェント・モデルの合格率を比較し、正式にサポートする組み合わせを決定します。
ドキュメントのデバッグ : テクニカルライターやDevRelチームがフリクションレポートを活用し、ドキュメントと実際のAPI挙動が食い違う箇所を特定して、エージェントがつまずく具体的な手順を修正します。
リリース時の回帰防止 : エンジニアリングチームが実験をCIに組み込み、エージェントのワークフローを壊す新しいAPIやSDKのバージョンが本番環境に届く前に検出します。
エージェント向けインターフェースの再設計 : プロダクトビルダーが素のエージェントアクセスとMCPやCLIによる対応とを比較テストし、優れたインターフェース設計がエージェントの成功率をどれだけ引き上げるかを定量化します。