Lemma

Lemma이란 무엇인가요?

Lemma는 전통적인 소프트웨어가 아닌 AI 에이전트를 위해 특별히 구축된 관찰 가능성 및 평가 플랫폼입니다. LLM 호출, 도구 사용, 검색 단계, 지연 시간, 오류를 포함한 에이전트 실행의 전체 실행 추적을 캡처하여 팀이 에이전트가 어디서 왜 잘못되었는지 정확히 파악할 수 있도록 합니다. 수동적인 모니터링을 넘어 Lemma는 실제 사용자 신호와 감지된 실패 패턴을 구체적인 프롬프트 및 동작 개선으로 전환하여 피드백 루프를 닫고, 수동 디버깅 시간을 크게 단축하는 것을 목표로 합니다.

주요 기능

• 에이전트 추적 시각화

  LLM 호출, 도구 호출, 검색 단계, 타이밍, 오류 지점을 포함한 모든 에이전트 실행의 전체 실행 트리를 표시하여 심층 디버깅을 지원합니다.

• 의미론적 추적 검색

  모든 추적이 임베딩되어 자연어로 검색 가능하므로, 쿼리 언어 없이도 환각이나 잘못된 의도 라우팅과 같은 실패 패턴을 찾을 수 있습니다.

• 자동 클러스터 발견

  유사한 추적을 지속적으로 그룹화하여 팀이 찾기 전에 새로운 실패 클러스터와 행동 이상을 발견합니다.

• 프로덕션 모니터링 및 알림

  지연 시간, 오류율, 도구 호출 성공률과 같은 메트릭을 추적하고, 임계값이 위반되면 근본 원인 분석과 함께 자동으로 인시던트를 생성합니다.

• 평가 프레임워크

  자동화된 온라인 평가와 피드백 클릭이나 전환과 같은 관찰된 사용자 신호를 결합하여 합성 메트릭을 넘어 에이전트 성능을 측정합니다.

• OpenTelemetry 네이티브 통합

  OTLP 내보내기를 통해 기존 스택에 연결되며, Vercel AI SDK, OpenAI Agents, Langfuse, Arize Phoenix, Azure Monitor를 네이티브로 지원합니다.

사용 사례

• AI 에이전트 디버깅 : 엔지니어링 팀이 중첩된 스팬, 입력 및 출력을 검사하여 라이브 세션 중 에이전트가 잘못된 작업이나 도구를 선택한 이유를 진단합니다.
• 회귀 감지 : 제품 팀이 프롬프트나 모델 업데이트 후 사용자 불만으로 확대되기 전에 조용한 성능 드리프트를 포착합니다.
• 고객 지원 에이전트 최적화 : 지원 팀이 추적 클러스터링과 피드백 신호를 사용하여 반복적으로 잘못 라우팅된 요청을 식별하고 에이전트 로직을 개선합니다.
• IDE 연결 문제 해결 : 개발자가 Lemma MCP 서버를 통해 Cursor, Claude Desktop 또는 Claude Code에서 직접 추적을 쿼리하여 코딩 환경을 벗어나지 않습니다.
• 규정 준수 민감 배포 : 민감한 데이터를 처리하는 조직은 안전한 에이전트 모니터링을 위해 Lemma의 SOC 2 Type II 인증 및 데이터 격리에 의존합니다.

자주 묻는 질문