Respan

Respan이란 무엇인가요?

Respan(구 Keywords AI)은 AI 에이전트 관측 가능성과 평가를 위한 통합 컨트롤 플레인입니다. 모든 LLM 호출, 도구 호출, 라우팅 결정, 메모리 상태에 걸친 전체 실행 트레이스를 캡처하여 팀이 에이전트가 프로덕션에서 실제로 어떻게 동작하는지 완전히 파악할 수 있게 합니다. 가시성을 넘어 Respan은 루프를 완성합니다. 자동화된 워크플로 수준의 평가를 실행하고, 근본 원인을 파악하며, 수정 사항을 추천하고, 팀이 플랫폼에서 직접 프롬프트와 모델 변경 사항을 배포할 수 있게 합니다. Y Combinator와 Gradient의 지원을 받는 Respan은 시간당 수백만 건의 LLM 호출을 처리하는 팀을 지원하며, ISO 27001, SOC 2, GDPR, HIPAA를 준수합니다.

주요 기능

• 엔드투엔드 추적

  프로덕션 요청의 100%를 캡처하여 입력, 출력, 도구 호출, 라우팅 결정, 지연 시간, 비용, 커스텀 메타데이터 등 완전한 span 수준의 세부 정보를 제공하며, 멀티스텝 에이전트의 전체 실행 트리를 자동으로 재구성합니다.

• 자동화된 평가 워크플로

  코드 기반 검사, 인간 검토, LLM 심사를 단일 평가 파이프라인에 통합하여 프롬프트, 모델 또는 에이전트 동작이 변경될 때 자동으로 트리거됩니다. 별도의 도구가 필요 없습니다.

• AI 평가 에이전트

  업계 최초의 에이전트로, 여러 시도에 걸친 실패를 분석하고 특정 결정 지점에서 근본 원인을 파악하며, 다음에 추가할 평가 항목을 추천하고 검토를 위해 라이브 트래픽을 지능적으로 샘플링합니다.

• 프롬프트 및 모델 배포

  UI에서 직접 프롬프트와 모델 변경 사항을 버전 관리, 테스트, 프로덕션 배포할 수 있으며, 롤백 지원과 동일한 프로덕션 데이터를 사용한 이전 버전과의 A/B 비교가 가능합니다.

• 적응형 AI 게이트웨이

  유연한 라우팅, 공급자 추상화, BYOK 지원, 자동 장애 조치를 갖춘 단일 게이트웨이로 500개 이상의 모델에 접근할 수 있습니다. 인프라를 재구축할 필요가 없습니다.

• 실시간 모니터링 및 알림

  80가지 이상의 그래프 유형을 지원하는 커스텀 대시보드로 품질, 지연 시간, 비용, 오류율을 추적합니다. 동작이 이상해지거나 장애가 발생하면 Slack, 이메일, 문자로 알림을 전송하며, 후속 평가나 데이터셋 구축을 자동으로 트리거할 수 있습니다.

사용 사례

• AI 에이전트 디버깅 : 엔지니어링 팀은 리플레이 플레이그라운드에서 프로덕션 트레이스를 직접 열어 장애를 재현하고, 수정 사항을 테스트하며, 추측 없이 해결 여부를 확인할 수 있습니다.
• 회귀 방지 : 프롬프트나 모델을 자주 업데이트하는 팀은 Respan을 사용해 매 릴리스 전에 과거 기준선에 대한 평가를 실행하여 사용자에게 영향을 미치기 전에 품질 회귀를 사전에 포착합니다.
• 대규모 LLM 모니터링 : 음성 AI 플랫폼 등 시간당 수백만 건의 LLM 호출을 처리하는 기업들은 Respan의 비동기 로깅과 스레드 그룹화를 활용하여 에이전트, 언어, 사용 사례 전반에 걸쳐 대규모로 완전한 가시성을 유지합니다.
• 프로덕션 데이터로 데이터셋 구축 : 프로덕션 트레이스가 자동으로 레이블이 지정된 평가 데이터셋으로 변환되어 테스트 세트를 수동으로 구축하는 수고를 없애고, 평가가 실제 사용 현황에 기반하도록 유지합니다.
• 프롬프트 최적화 : 팀은 라이브 프로덕션 데이터 스트림을 활용하여 플랫폼 내에서 직접 자동 프롬프트 엔지니어링을 실행하고, 오프라인 실험 사이클 없이 에이전트 출력을 지속적으로 개선합니다.

자주 묻는 질문