Oqoqo

AI 에이전트가 MCP, CLI, SDK, API를 통해 실제 제품을 성공적으로 사용할 수 있는지 측정하는 평가 및 커스텀 벤치마크 구축 플랫폼입니다.

커뮤니티:

AI 테스트 및 QA AI 개발자 도구

웹사이트 방문

Atoms - AI로 코드 없이 웹사이트·앱 제작

StoreClaw

Sponsor

온라인 판매자를 위한 자율 커머스 엔진으로, 모든 주요 전자상거래 플랫폼에서 스토어를 24시간 모니터링하고, 실행하며, 성장시킵니다. 수동 개입이 필요하지 않습니다.

개요
대안
분석

Atoms - AI로 코드 없이 웹사이트·앱 제작

제품 개요

Oqoqo이란 무엇인가요?

Oqoqo는 인간뿐 아니라 AI 에이전트가 소프트웨어 제품의 주요 사용자가 되어가는 시대를 위해 만들어진 평가 플랫폼입니다. 실제 워크플로우를 제대로 반영하지 못하는 범용 공개 벤치마크에 의존하는 대신, 팀은 자연어로 자신만의 태스크 세트와 성공 기준을 정의하고, Claude Code, Codex, Cursor 같은 에이전트가 제품 인터페이스의 여러 버전에서 해당 태스크를 수행하도록 합니다. 모든 트라이얼은 프로덕션에서 에이전트가 마주할 파일, 크리덴셜, 도구를 그대로 갖춘 격리된 일회성 샌드박스에서 실행되며, 에이전트의 모든 단계가 완전한 실행 궤적으로 기록됩니다. 그 결과 통과율, 베이스라인 대비 개선폭, 토큰·비용 데이터, 그리고 실패를 유발한 구체적인 마찰 지점까지 보고하는 비공개 벤치마크가 만들어져, 제품과 문서의 문제를 고치고 원하는 시점에 다시 테스트할 수 있습니다.

주요 기능

비공개 태스크 세트 & 루브릭
팀이 실제 업무 태스크와 통과/실패 기준을 자연어로 직접 작성하고, 버전 관리되는 벤치마크를 온전히 소유하여 이후 실행 결과와도 계속 비교할 수 있습니다.
멀티 에이전트, 멀티 모델 테스트
Claude Code, Codex, Cursor, GitHub Copilot, OpenCode, OpenClaw, Pi, Hermes에서 동일한 태스크를 실행하고, 에이전트별로 모델과 성능(effort) 수준을 선택해 어느 쪽이 더 뛰어난지 비교합니다.
격리된 샌드박스 실행
각 트라이얼은 실제 에이전트 운영 환경과 동일한 새로운 일회성 클라우드 환경에서 실행되어, 실행 간 힌트 유출을 막고 결과의 재현성을 보장합니다.
전체 실행 궤적(Trajectory) 캡처
모든 도구 호출, 명령어, 파일 변경, 토큰 사용량이 기록되어 평가자가 각 요구사항을 개별적으로 채점하고 사유와 근거를 함께 남길 수 있습니다.
마찰(Friction) 및 실패 진단
상충되는 문서, 망가진 설치 단계, 오해를 부르는 오류 메시지 등 반복적으로 발생하는 장애 요인을 심각도와 담당 영역별로 분류하여, 제품이나 인터페이스에서 정확히 무엇을 고쳐야 하는지 짚어줍니다.
CI/CD 대응 회귀 테스트
CLI나 MCP를 통해 코드 변경으로 실험을 자동 실행할 수 있어, API·SDK·문서 업데이트가 배포되기 전에 에이전트 경험 회귀를 미리 잡아냅니다.

사용 사례

에이전트 준비도 테스트 : 개발자 도구 팀이 코딩 에이전트가 잘 짜인 데모뿐 아니라 실제 태스크에서도 자사의 MCP 서버, CLI, SDK를 실제로 찾아내고 사용할 수 있는지 검증합니다.
모델 & Harness 선정 : 제품 팀이 도메인 특화 워크플로우에서 다양한 에이전트와 모델의 통과율을 비교해 공식 지원할 조합을 결정합니다.
문서 디버깅 : 테크니컬 라이터와 DevRel 팀이 마찰 리포트를 활용해 문서와 실제 API 동작이 어긋나는 지점을 찾아, 에이전트가 막히는 정확한 단계를 수정합니다.
릴리스 회귀 방지 : 엔지니어링 팀이 실험을 CI 파이프라인에 연결해, 에이전트 워크플로우를 깨뜨리는 신규 API나 SDK 버전이 프로덕션에 도달하기 전에 잡아냅니다.
에이전트를 위한 인터페이스 재설계 : 제품 빌더가 원시 에이전트 접근 방식과 MCP 또는 CLI 방식을 비교 테스트하여, 더 나은 인터페이스 설계가 에이전트 성공률에 실제로 얼마나 도움이 되는지 정량화합니다.