Lemma

Was ist Lemma?

Lemma ist eine Observability- und Evaluierungsplattform, die speziell für KI-Agenten und nicht für traditionelle Software entwickelt wurde. Sie erfasst vollständige Ausführungstraces von Agent-Läufen—einschließlich LLM-Aufrufen, Tool-Nutzung, Abrufschritten, Latenz und Fehlern—damit Teams genau bestimmen können, wo und warum ein Agent versagt hat. Über passive Überwachung hinaus schließt Lemma die Feedback-Schleife, indem es echte Benutzersignale und erkannte Fehlermuster in konkrete Prompt- und Verhaltensverbesserungen umwandelt, mit dem Ziel, die manuelle Debugging-Zeit erheblich zu reduzieren.

Hauptfunktionen

• Agent-Trace-Visualisierung

  Zeigt den vollständigen Ausführungsbaum jeder Agent-Ausführung an, einschließlich LLM-Aufrufen, Tool-Invokationen, Abrufschritten, Timing und Fehlerpunkten für tiefgehendes Debugging.

• Semantische Trace-Suche

  Jeder Trace ist eingebettet und mit natürlicher Sprache durchsuchbar, sodass Teams Fehlermuster wie Halluzinationen oder falsch geroutete Absichten ohne Abfragesprache finden können.

• Automatisierte Cluster-Erkennung

  Gruppiert kontinuierlich ähnliche Traces, um aufkommende Fehlercluster und Verhaltensanomalien zu erkennen, bevor Teams danach suchen.

• Produktionsüberwachung & Alarme

  Verfolgt Metriken wie Latenz, Fehlerrate und Tool-Aufruf-Erfolg und öffnet automatisch Incidents mit Ursachenanalyse, wenn Schwellenwerte überschritten werden.

• Evaluierungs-Framework

  Kombiniert automatisierte Online-Evaluierungen mit beobachteten Benutzersignalen wie Feedback-Klicks oder Conversions, um die Agent-Leistung über synthetische Metriken hinaus zu messen.

• OpenTelemetry-native Integrationen

  Integriert sich über OTLP-Export in bestehende Stacks, mit nativer Unterstützung für Vercel AI SDK, OpenAI Agents, Langfuse, Arize Phoenix und Azure Monitor.

Anwendungsfälle

• AI-Agent-Debugging : Engineering-Teams untersuchen verschachtelte Spans, Eingaben und Ausgaben, um zu diagnostizieren, warum ein Agent während einer Live-Sitzung die falsche Aktion oder das falsche Tool ausgewählt hat.
• Regressionserkennung : Produktteams erkennen stille Leistungsabweichungen nach Prompt- oder Modell-Updates, bevor sie zu Benutzerbeschwerden eskalieren.
• Optimierung von Kundensupport-Agenten : Support-Teams nutzen Trace-Clustering und Feedback-Signale, um wiederkehrende falsch geroutete Anfragen zu identifizieren und die Agent-Logik zu verfeinern.
• IDE-verbundene Fehlersuche : Entwickler fragen Traces direkt über den Lemma MCP-Server aus Cursor, Claude Desktop oder Claude Code ab, ohne ihre Coding-Umgebung zu verlassen.
• Compliance-sensible Bereitstellungen : Organisationen, die sensible Daten verarbeiten, verlassen sich auf Lemmas SOC 2 Type II-Zertifizierung und Datenisolierung für sichere Agent-Überwachung.

Häufig gestellte Fragen