Lemma

AI 에이전트가 프로덕션 실패와 사용자 피드백으로부터 학습하도록 돕는 관찰 가능성 및 평가 플랫폼.

커뮤니티:

모니터링 및 로그 관리 AI 개발자 도구 AI 에이전트 개발

웹사이트 방문

Atoms - AI로 코드 없이 웹사이트·앱 제작

StoreClaw

Sponsor

온라인 판매자를 위한 자율 커머스 엔진으로, 모든 주요 전자상거래 플랫폼에서 스토어를 24시간 모니터링하고, 실행하며, 성장시킵니다. 수동 개입이 필요하지 않습니다.

개요
대안
분석

Atoms - AI로 코드 없이 웹사이트·앱 제작

제품 개요

Lemma이란 무엇인가요?

Lemma는 전통적인 소프트웨어가 아닌 AI 에이전트를 위해 특별히 구축된 관찰 가능성 및 평가 플랫폼입니다. LLM 호출, 도구 사용, 검색 단계, 지연 시간, 오류를 포함한 에이전트 실행의 전체 실행 추적을 캡처하여 팀이 에이전트가 어디서 왜 잘못되었는지 정확히 파악할 수 있도록 합니다. 수동적인 모니터링을 넘어 Lemma는 실제 사용자 신호와 감지된 실패 패턴을 구체적인 프롬프트 및 동작 개선으로 전환하여 피드백 루프를 닫고, 수동 디버깅 시간을 크게 단축하는 것을 목표로 합니다.

주요 기능

에이전트 추적 시각화
LLM 호출, 도구 호출, 검색 단계, 타이밍, 오류 지점을 포함한 모든 에이전트 실행의 전체 실행 트리를 표시하여 심층 디버깅을 지원합니다.
의미론적 추적 검색
모든 추적이 임베딩되어 자연어로 검색 가능하므로, 쿼리 언어 없이도 환각이나 잘못된 의도 라우팅과 같은 실패 패턴을 찾을 수 있습니다.
자동 클러스터 발견
유사한 추적을 지속적으로 그룹화하여 팀이 찾기 전에 새로운 실패 클러스터와 행동 이상을 발견합니다.
프로덕션 모니터링 및 알림
지연 시간, 오류율, 도구 호출 성공률과 같은 메트릭을 추적하고, 임계값이 위반되면 근본 원인 분석과 함께 자동으로 인시던트를 생성합니다.
평가 프레임워크
자동화된 온라인 평가와 피드백 클릭이나 전환과 같은 관찰된 사용자 신호를 결합하여 합성 메트릭을 넘어 에이전트 성능을 측정합니다.
OpenTelemetry 네이티브 통합
OTLP 내보내기를 통해 기존 스택에 연결되며, Vercel AI SDK, OpenAI Agents, Langfuse, Arize Phoenix, Azure Monitor를 네이티브로 지원합니다.

사용 사례

AI 에이전트 디버깅 : 엔지니어링 팀이 중첩된 스팬, 입력 및 출력을 검사하여 라이브 세션 중 에이전트가 잘못된 작업이나 도구를 선택한 이유를 진단합니다.
회귀 감지 : 제품 팀이 프롬프트나 모델 업데이트 후 사용자 불만으로 확대되기 전에 조용한 성능 드리프트를 포착합니다.
고객 지원 에이전트 최적화 : 지원 팀이 추적 클러스터링과 피드백 신호를 사용하여 반복적으로 잘못 라우팅된 요청을 식별하고 에이전트 로직을 개선합니다.
IDE 연결 문제 해결 : 개발자가 Lemma MCP 서버를 통해 Cursor, Claude Desktop 또는 Claude Code에서 직접 추적을 쿼리하여 코딩 환경을 벗어나지 않습니다.
규정 준수 민감 배포 : 민감한 데이터를 처리하는 조직은 안전한 에이전트 모니터링을 위해 Lemma의 SOC 2 Type II 인증 및 데이터 격리에 의존합니다.