Polarity

Polarity이란 무엇인가요?

Polarity는 프로덕션에서 실행되는 AI Agent를 위해 특별히 설계된 평가 인프라 플랫폼입니다. 핵심 엔진인 Keystone은 모의 종속성이 아닌 실제 백엔드 서비스(Postgres, Redis, S3 및 내부 API)가 사전 로드된 격리된 Docker 샌드박스 내에서 각 Agent 작업을 시작합니다. 이러한 실제 서비스 접근 방식을 통해 Polarity는 Braintrust, LangSmith 또는 Langfuse와 같은 경량 프롬프트 수준 평가 도구가 일반적으로 간과하는 상태 저장 다단계 장애 패턴을 정확하게 감지할 수 있습니다. 감지된 모든 장애에는 단일 명령으로 로컬에서 정확히 동일한 샌드박스를 재생성하는 시드 재현기가 함께 제공되어 디버깅 주기를 크게 단축합니다.

주요 기능

• 실제 서비스 샌드박스 격리

  각 Agent 작업은 실시간 Postgres, Redis, S3 및 내부 API 인스턴스가 사전 로드된 전용 Docker 샌드박스 내에서 실행되어, 시뮬레이션이 아닌 실제 프로덕션 조건을 반영하는 평가를 보장합니다.

• 행동 불변량 점수 평가

  Keystone은 구성 가능한 행동 불변량 및 금지 작업 규칙에 따라 모든 Agent 실행을 점수화하여, Agent가 의도된 경계 내에서 작동하는지에 대한 구조화된 신호를 팀에 제공합니다.

• 비결정성 측정

  동일한 입력에서 Agent의 출력이 얼마나 변하는지 정량화하기 위해 실행을 자동으로 복제하여, 프로덕션에 나타나기 전에 신뢰성 문제를 노출합니다.

• 원클릭 장애 재현

  모든 실패한 실행에는 정확한 샌드박스 환경을 로컬에서 재생성하는 시드 재현기가 함께 제공되어, 개발자가 수동 환경 재구성 없이 복잡한 Agent 장애를 디버깅할 수 있습니다.

• 자동화된 코드 리뷰 및 테스트

  @paragon-review를 통한 풀 리퀘스트 리뷰 및 엔드투엔드 테스트 인프라가 내장되어 있어, 프로덕션에 도달하기 전에 회귀 및 버그를 포착합니다.

• 실시간 모니터링 및 CLI 어시스턴트

  실시간 알림이 포함된 애플리케이션 모니터링과 함께, 명령줄에서 직접 코드를 작성, 검토 및 관리할 수 있는 터미널 기반 어시스턴트(Paragon CLI)가 제공됩니다.

사용 사례

• 프로덕션 Agent 평가 : 프로덕션에서 AI Agent를 실행하는 엔지니어링 팀은 Polarity를 사용하여 실제 상태 저장 서비스 전반에 걸쳐 Agent 동작을 지속적으로 평가하고, 현실적인 조건에서만 나타나는 장애 모드를 포착합니다.
• 복잡한 다단계 Agent 테스트 : 장기 실행 다단계 에이전트 워크플로우를 구축하는 팀은 Polarity를 사용하여 전체 실행 체인에서 올바른 시퀀싱, 상태 지속성 및 서비스 상호 작용을 검증합니다.
• Agent 신뢰성 벤치마킹 : 조직은 Agent 버전 또는 구성 간의 비결정성을 측정하고 비교하여, 더 광범위한 출시 전에 안정성 개선의 우선순위를 정할 수 있습니다.
• 신속한 장애 디버깅 : 개발자는 시드 재현기를 사용하여 정확한 장애 조건을 로컬에서 즉시 재생성하여, 재현하기 어려운 상태 저장 버그에 대한 조사 시간을 단축합니다.
• CI/CD 파이프라인 통합 : 개발 팀은 Polarity의 코드 리뷰 및 테스트 도구를 풀 리퀘스트 워크플로우에 통합하여 모든 코드 변경 시 자동으로 품질 게이트를 적용합니다.

자주 묻는 질문