FuriosaAI

FuriosaAIとは？

FuriosaAIは、企業やクラウド環境における大規模言語モデル（LLM）やコンピュータビジョンアプリケーションの展開に卓越したスループットとエネルギー効率を提供する次世代AIアクセラレータを専門としています。同社の主力製品であるRNGDは、独自のテンソル縮約プロセッサアーキテクチャを採用し、計算とメモリの効率を最大化し、消費電力を抑えながら低レイテンシ・高スループットの推論を実現します。このハードウェアは、コンパイラ、ランタイム、プロファイリングツールを含む包括的なソフトウェアスタックと緊密に統合されており、現代のデータセンターインフラ内でのモデル展開と拡張性を最適化します。

主な機能

• テンソル縮約プロセッサアーキテクチャ

  テンソル縮約演算に焦点を当てた革新的な計算設計で、従来の行列乗算アプローチと比較して優れたパフォーマンスとエネルギー効率を提供します。

• 低消費電力での高スループット

  RNGDはLLaMA 3.1-8Bモデルで毎秒3,200トークン以上を処理しながら、180Wの電力範囲を維持し、空冷式データセンターへの導入を可能にします。

• 包括的なソフトウェアスタック

  大規模AIモデルのシームレスな統合と最適化のために設計されたコンパイラ、ランタイム、モデル圧縮ツール、プロファイラ、サービングフレームワークを含みます。

• 柔軟な導入と拡張性

  コンテナ化、Kubernetes、SR-IOVなどの仮想化技術をサポートし、効率的なリソース利用とマルチテナント分離を実現します。

• 堅牢なエコシステム互換性

  PyTorch 2.xなどの人気のAIフレームワークと完全に互換性があり、TensorFlow LiteやONNXなどの一般的なモデル形式をサポートします。

ユースケース

• 大規模言語モデル推論 : 会話AI、チャットボット、自然言語処理タスク向けの高スループットと低レイテンシーで、最先端のLLMを効率的に展開・実行します。
• コンピュータビジョンアプリケーション : 画像分類、物体検出、OCR、超解像のための深層学習モデルを高いエネルギー効率で加速します。
• クラウドとデータセンターのAIワークロード : コンテナオーケストレーションと仮想化をサポートし、クラウド環境でのAI推論ワークロードを最適化してハードウェア利用率を最大化します。
• マルチモーダルAI処理 : 単一の効率的なハードウェアプラットフォーム上で、テキスト、画像、その他のデータタイプを組み合わせた多様なAIタスクを処理します。

よくある質問