dstack

Что такое dstack?

dstack — это оптимизированная альтернатива Kubernetes и Slurm, специально разработанная для упрощения оркестрации контейнеров для разработки, обучения и развертывания ИИ. Он поддерживает широкий спектр ускорителей, включая NVIDIA, AMD, Google TPU, Intel Gaudi и Tenstorrent, и бесперебойно работает с основными облачными провайдерами, а также с локальными кластерами. dstack предлагает унифицированные интерфейсы для управления средами разработки, планирования распределенных задач, развертывания масштабируемых сервисов моделей, управления ресурсами GPU-кластеров и управления томами постоянного хранения. Его конфигурация основана на YAML, что облегчает контроль версий и автоматизацию. Абстрагируя сложность инфраструктуры, dstack ускоряет рабочие процессы ИИ и снижает операционные затраты для команд машинного обучения.

Ключевые функции

• Независимость от ускорителей и облаков

  Поддерживает различные GPU и ускорители ИИ, такие как NVIDIA, AMD, TPU, Intel Gaudi и Tenstorrent, и интегрируется со всеми основными облачными провайдерами, а также с локальными серверами.

• Унифицированные интерфейсы рабочих процессов ИИ

  Предоставляет специальные конфигурации для сред разработки, планирования задач, развертывания сервисов с автомасштабированием, управления ресурсами и постоянных томов для охвата всего жизненного цикла ИИ.

• Упрощенная конфигурация и автоматизация

  Использует декларативные файлы YAML для определения сред, задач, сервисов и кластеров, применяемых через простой CLI или API, автоматизируя выделение ресурсов, масштабирование и настройку сети.

• Экономичное управление мультиоблачными и локальными ресурсами

  Обеспечивает гибкое использование облачных и локальных ресурсов без привязки к поставщику, оптимизируя использование GPU и облачные расходы.

• Открытый исходный код с расширяемой экосистемой

  100% открытый исходный код с активной разработкой, поддерживающий интеграцию с популярными фреймворками и инструментами ИИ, такими как PyTorch, HuggingFace и vLLM.

Варианты использования

• Интерактивные среды разработки : Быстрое развертывание удаленных сред разработки на основе GPU, доступных из десктопных IDE, для быстрого экспериментирования и кодирования.
• Распределенное обучение и файн-тюнинг : Планирование и запуск сложных задач обучения на кластерах или отдельных узлах с поддержкой фреймворков, таких как DeepSpeed и HuggingFace Accelerate.
• Развертывание моделей и инференс : Разворачивайте масштабируемые, безопасные и автоматически масштабируемые конечные точки моделей, совместимые с пользовательскими фреймворками обслуживания и API OpenAI.
• Управление кластерами и ресурсами : Управление гетерогенными GPU-кластерами в облаке и локально, обеспечивая эффективное совместное использование ресурсов и масштабирование.
• Постоянное хранилище для рабочих нагрузок ИИ : Использование сетевых томов для обеспечения постоянного хранения наборов данных, контрольных точек и кэша между несколькими запусками и средами.

Часто задаваемые вопросы