Lemma

Lemmaとは？

Lemmaは、従来のソフトウェアではなくAIエージェント専用に構築された可観測性および評価プラットフォームです。LLM呼び出し、ツールの使用、検索ステップ、レイテンシー、エラーをカバーするエージェント実行の完全な実行トレースをキャプチャし、チームがエージェントがどこでなぜ間違ったのかを正確に特定できるようにします。受動的な監視を超えて、Lemmaは実際のユーザーシグナルと検出された失敗パターンを具体的なプロンプトと動作の改善に変換してフィードバックループを閉じ、手動デバッグ時間を大幅に削減することを目指しています。

主な機能

• エージェント追跡の可視化

  LLM呼び出し、ツール起動、検索ステップ、タイミング、エラーポイントを含む、すべてのエージェント実行の完全な実行ツリーを表示し、詳細なデバッグを可能にします。

• セマンティック追跡検索

  すべての追跡が埋め込まれ、自然言語で検索可能になるため、クエリ言語なしで幻覚や誤ったインテントルーティングなどの失敗パターンを見つけられます。

• 自動クラスター発見

  類似した追跡を継続的にグループ化し、チームが探す前に新たな障害クラスターや行動異常を発見します。

• 本番環境の監視とアラート

  レイテンシー、エラー率、ツール呼び出し成功率などのメトリクスを追跡し、しきい値が破られると根本原因分析を伴うインシデントを自動的に開きます。

• 評価フレームワーク

  自動化されたオンライン評価と、フィードバッククリックやコンバージョンなどの観察されたユーザーシグナルを組み合わせて、合成メトリクスを超えてエージェントのパフォーマンスを測定します。

• OpenTelemetryネイティブ統合

  OTLPエクスポート経由で既存のスタックに接続し、Vercel AI SDK、OpenAI Agents、Langfuse、Arize Phoenix、Azure Monitorをネイティブサポートします。

ユースケース

• AI エージェントデバッグ : エンジニアリングチームがネストされたスパン、入力、出力を検査し、ライブセッション中にエージェントが間違ったアクションやツールを選択した理由を診断します。
• リグレッション検出 : プロダクトチームが、プロンプトやモデルの更新後、ユーザーからの苦情にエスカレートする前にサイレントパフォーマンスのドリフトを捉えます。
• カスタマーサポートエージェントの最適化 : サポートチームが追跡クラスタリングとフィードバックシグナルを使用して、繰り返し発生する誤ルーティングされたリクエストを特定し、エージェントロジックを改善します。
• IDE接続トラブルシューティング : 開発者がLemma MCPサーバーを介してCursor、Claude Desktop、またはClaude Codeから直接追跡をクエリし、コーディング環境を離れることなく作業できます。
• コンプライアンス重視のデプロイメント : 機密データを扱う組織は、安全なエージェント監視のためにLemmaのSOC 2 Type II認証とデータ分離に依存しています。

よくある質問