FuriosaAI

FuriosaAI 是什麼？

FuriosaAI專注於下一代AI加速器，為企業和雲端環境中部署大型語言模型（LLM）和電腦視覺應用提供卓越的輸送量和能源效率。其旗艦產品RNGD採用獨特的張量收縮處理器架構，最大化計算和記憶體效率，實現低延遲、高輸送量推論，同時降低功耗。該硬體與全面的軟體堆疊緊密整合，包括編譯器、執行環境和效能分析工具，以最佳化現代數據中心基礎設施中的模型部署和可擴展性。

主要功能

• 張量收縮處理器架構

  創新的計算設計專注於張量收縮操作，與傳統矩陣乘法方法相比，提供卓越的效能和能源效率。

• 高輸送量低功耗

  RNGD在LLaMA 3.1-8B模型上實現每秒超過3,200個token的處理速度，同時保持180W的功耗範圍，支援風冷數據中心部署。

• 全面的軟體堆疊

  包含編譯器、執行環境、模型壓縮器、效能分析器和服務框架，專為大型AI模型的無縫整合和最佳化而設計。

• 靈活部署和可擴展性

  支援容器化、Kubernetes和虛擬化技術（如SR-IOV），實現高效資源利用和多租戶隔離。

• 強大的生態系統相容性

  完全相容流行的AI框架，如PyTorch 2.x，並支援常見模型格式，包括TensorFlow Lite和ONNX。

使用案例

• 大型語言模型推論 : 高效部署和運行最先進的LLM，為對話AI、聊天機器人和自然語言處理任務提供高輸送量和低延遲。
• 電腦視覺應用 : 加速圖像分類、物體檢測、OCR和超分辨率的深度學習模型，具有高能源效率。
• 雲端和數據中心AI工作負載 : 透過支援容器編排和虛擬化，最佳化雲端環境中的AI推論工作負載，最大化硬體利用率。
• 多模態AI處理 : 在單一高效硬體平台上處理結合文字、圖像和其他數據類型的多樣化AI任務。

常見問題