Respan

Что такое Respan?

Respan (ранее Keywords AI) — единая плоскость управления для наблюдаемости и оценки ИИ-агентов. Он захватывает полные трейсы выполнения по каждому вызову LLM, вызову инструмента, решению маршрутизации и состоянию памяти — давая командам полную видимость того, как их агенты реально ведут себя в продакшне. Помимо видимости, Respan замыкает петлю: запускает автоматизированные оценки на уровне рабочих процессов, выявляет первопричины, рекомендует исправления и позволяет командам публиковать изменения промптов и моделей прямо с платформы. Поддерживаемый Y Combinator и Gradient, Respan обслуживает команды, обрабатывающие миллионы LLM-вызовов в час, и соответствует требованиям ISO 27001, SOC 2, GDPR и HIPAA.

Ключевые функции

• Сквозная трассировка

  Захватывает 100% производственных запросов с полной детализацией на уровне span — входные данные, выходные данные, вызовы инструментов, решения маршрутизации, задержка, стоимость и пользовательские метаданные — автоматически восстанавливая полные деревья выполнения для многошаговых агентов.

• Автоматизированные рабочие процессы оценки

  Объединяет проверки на основе кода, ручной контроль и LLM-судей в единый конвейер оценки, который автоматически запускается при изменении промптов, моделей или поведения агентов — без дополнительных инструментов.

• ИИ-агент оценки

  Первый в отрасли агент, который анализирует сбои в ходе испытаний, локализует первопричины до конкретных решений, рекомендует, какие оценки добавить следующими, и интеллектуально выборочно проверяет живой трафик.

• Развёртывание промптов и моделей

  Версионируйте, тестируйте и продвигайте промпты и изменения моделей прямо из интерфейса в продакшн с поддержкой отката и A/B-сравнением с предыдущими версиями на тех же производственных данных.

• Адаптивный ИИ-шлюз

  Единый шлюз, предоставляющий доступ к более чем 500 моделям с гибкой маршрутизацией, абстракцией провайдеров, поддержкой BYOK и автоматическим переключением при сбоях — без перестройки инфраструктуры.

• Мониторинг и оповещения в реальном времени

  Настраиваемые дашборды с более чем 80 типами графиков отслеживают качество, задержку, стоимость и частоту ошибок. Оповещения отправляются через Slack, электронную почту или SMS при отклонении или сбоях в поведении, с автоматизацией для запуска последующих оценок или построения датасетов.

Варианты использования

• Отладка ИИ-агентов : Инженерные команды могут открыть любой производственный трейс прямо в среде воспроизведения, чтобы воспроизвести сбои, протестировать исправления и подтвердить их устранение без лишних догадок.
• Защита от регрессий : Команды, часто выпускающие обновления промптов или моделей, используют Respan для запуска оценок по историческим базовым показателям перед каждым релизом, выявляя регрессии качества до того, как они затронут пользователей.
• Крупномасштабный мониторинг LLM : Компании, обрабатывающие миллионы LLM-вызовов в час — например, платформы голосового ИИ — используют асинхронное логирование и группировку потоков Respan для поддержания полной видимости в масштабе по агентам, языкам и сценариям использования.
• Формирование датасетов из продакшн-данных : Производственные трейсы автоматически преобразуются в размеченные датасеты для оценки, устраняя ручные усилия по построению тестовых наборов и обеспечивая привязку оценок к реальному использованию.
• Оптимизация промптов : Команды используют потоки живых производственных данных для автоматического инжиниринга промптов прямо на платформе, непрерывно улучшая выходные данные агентов без циклов офлайн-экспериментов.

Часто задаваемые вопросы