Respan

Was ist Respan?

Respan (ehemals Keywords AI) ist eine einheitliche Steuerungsebene für die Observability und Evaluierung von KI-Agenten. Es erfasst vollständige Ausführungs-Traces über jeden LLM-Aufruf, Tool-Aufruf, Routing-Entscheidung und Speicherzustand — und gibt Teams vollständige Transparenz darüber, wie ihre Agenten tatsächlich in der Produktion agieren. Über die Transparenz hinaus schließt Respan den Kreislauf: Es führt automatisierte Evaluierungen auf Workflow-Ebene durch, deckt Grundursachen auf, empfiehlt Korrekturen und ermöglicht es Teams, Prompt- und Modelländerungen direkt von der Plattform aus zu veröffentlichen. Unterstützt von Y Combinator und Gradient bedient Respan Teams, die Millionen von LLM-Aufrufen pro Stunde verarbeiten, und ist konform mit ISO 27001, SOC 2, DSGVO und HIPAA.

Hauptfunktionen

• End-to-End-Tracing

  Erfasst 100 % der Produktionsanfragen mit vollständigen Details auf Span-Ebene — Eingaben, Ausgaben, Tool-Aufrufe, Routing-Entscheidungen, Latenz, Kosten und benutzerdefinierte Metadaten — und rekonstruiert diese automatisch zu vollständigen Ausführungsbäumen für mehrstufige Agenten.

• Automatisierte Evaluierungs-Workflows

  Kombiniert codebasierte Prüfungen, menschliche Reviews und LLM-Richter in einer einzigen Evaluierungs-Pipeline, die automatisch ausgelöst wird, wenn sich Prompts, Modelle oder das Agentenverhalten ändern — ohne zusätzliche Werkzeuge.

• KI-Evaluierungsagent

  Ein branchenweit erster Agent, der Fehler über mehrere Versuche hinweg analysiert, Grundursachen auf spezifische Entscheidungen zurückführt, empfiehlt, welche Evaluierungen als nächstes hinzugefügt werden sollten, und Live-Traffic intelligent für Reviews sampelt.

• Prompt- und Modell-Deployment

  Versionieren, testen und promoten Sie Prompts und Modelländerungen direkt aus der Benutzeroberfläche in die Produktion, mit Rollback-Unterstützung und A/B-Vergleich mit früheren Versionen anhand derselben Produktionsdaten.

• Adaptives KI-Gateway

  Ein einziges Gateway mit Zugang zu über 500 Modellen, flexiblem Routing, Anbieterabstraktion, BYOK-Unterstützung und automatischem Failover — ohne Infrastruktur neu aufbauen zu müssen.

• Echtzeit-Monitoring und Alerting

  Individuelle Dashboards mit über 80 Diagrammtypen verfolgen Qualität, Latenz, Kosten und Fehlerquoten. Alerts werden über Slack, E-Mail oder SMS ausgelöst, wenn das Verhalten abweicht oder Fehler auftreten, mit Automatisierungen für nachfolgende Evaluierungen oder Datensatz-Erstellungen.

Anwendungsfälle

• KI-Agenten-Debugging : Engineering-Teams können jeden Produktions-Trace direkt in einer Replay-Umgebung öffnen, um Fehler zu reproduzieren, Korrekturen zu testen und die Lösung ohne Rätselraten zu bestätigen.
• Regressionsschutz : Teams, die häufig Prompt- oder Modell-Updates veröffentlichen, nutzen Respan, um vor jedem Release Evaluierungen gegen historische Baselines durchzuführen und Qualitätsregressionen zu erkennen, bevor Nutzer betroffen sind.
• LLM-Monitoring im großen Maßstab : Unternehmen, die Millionen von LLM-Aufrufen pro Stunde verarbeiten — wie Voice-KI-Plattformen —, nutzen Respans asynchrones Logging und Thread-Gruppierung, um über Agenten, Sprachen und Anwendungsfälle hinweg vollständige Transparenz in großem Maßstab zu gewährleisten.
• Datensatz-Erstellung aus der Produktion : Produktions-Traces werden automatisch in annotierte Evaluierungsdatensätze umgewandelt, was den manuellen Aufwand für die Erstellung von Testmengen eliminiert und die Evaluierungen in der realen Nutzung verankert.
• Prompt-Optimierung : Teams nutzen Live-Produktionsdatenströme, um automatisches Prompt-Engineering direkt in der Plattform durchzuführen und die Ausgaben der Agenten kontinuierlich zu verbessern — ohne Offline-Experimentierzyklen.

Häufig gestellte Fragen