FuriosaAI

Что такое FuriosaAI?

FuriosaAI специализируется на ускорителях ИИ нового поколения, обеспечивающих исключительную пропускную способность и энергоэффективность для развертывания больших языковых моделей (LLM) и приложений компьютерного зрения в корпоративных и облачных средах. Их флагманский продукт, RNGD, обладает уникальной архитектурой процессора тензорного сокращения, которая максимизирует эффективность вычислений и памяти, обеспечивая вывод с низкой задержкой и высокой пропускной способностью при сниженном энергопотреблении. Оборудование тесно интегрировано с комплексным программным стеком, включающим компилятор, среду выполнения и инструменты профилирования, для оптимизации развертывания моделей и масштабируемости в рамках современных инфраструктур центров обработки данных.

Ключевые функции

• Архитектура процессора тензорного сокращения

  Инновационная вычислительная архитектура, ориентированная на операции тензорного сокращения, обеспечивающая превосходную производительность и энергоэффективность по сравнению с традиционными подходами матричного умножения.

• Высокая пропускная способность при низком энергопотреблении

  RNGD достигает более 3 200 токенов в секунду на моделях LLaMA 3.1-8B, поддерживая при этом энергопотребление на уровне 180 Вт, что позволяет развертывать его в центрах обработки данных с воздушным охлаждением.

• Комплексный программный стек

  Включает компилятор, среду выполнения, компрессор моделей, профилировщик и фреймворк обслуживания, разработанные для бесшовной интеграции и оптимизации крупных моделей ИИ.

• Гибкое развертывание и масштабируемость

  Поддерживает контейнеризацию, Kubernetes и технологии виртуализации, такие как SR-IOV, для эффективного использования ресурсов и изоляции в многопользовательской среде.

• Надежная совместимость с экосистемой

  Полностью совместим с популярными фреймворками ИИ, такими как PyTorch 2.x, и поддерживает распространенные форматы моделей, включая TensorFlow Lite и ONNX.

Варианты использования

• Вывод больших языковых моделей : Эффективное развертывание и запуск современных LLM с высокой пропускной способностью и низкой задержкой для разговорного ИИ, чат-ботов и задач обработки естественного языка.
• Приложения компьютерного зрения : Ускорение моделей глубокого обучения для классификации изображений, обнаружения объектов, OCR и сверхвысокого разрешения с высокой энергоэффективностью.
• Рабочие нагрузки ИИ для облака и центров обработки данных : Оптимизация рабочих нагрузок вывода ИИ в облачных средах с поддержкой оркестрации контейнеров и виртуализации для максимального использования аппаратных ресурсов.
• Мультимодальная обработка ИИ : Обработка разнообразных задач ИИ, объединяющих текст, изображения и другие типы данных в рамках единой эффективной аппаратной платформы.

Часто задаваемые вопросы