Unsloth AI

開源平台，最高 32 倍加速大型語言模型微調，顯著降低記憶體用量。

社群:

AI 開發者工具大型語言模型 (LLMs)

造訪網站

Atoms - 以 AI 建立網站與應用程式，無需程式碼

Atoms

Sponsor

無需寫程式，幾分鐘內驗證創意、建立網站與應用，獲得第一批客戶。

概覽
替代方案
分析

Atoms - 以 AI 建立網站與應用程式，無需程式碼

產品概覽

Unsloth AI 是什麼？

Unsloth AI 是一套先進的開源框架，專為大幅加速與簡化大型語言模型（LLM）如 Llama-3、Mistral、Phi-3、Gemma 的微調而設計。透過手動優化運算密集的數學運算與 GPU 核心，單張 GPU 訓練速度可提升至 10 倍，多 GPU 更可達 32 倍，遠超傳統 Flash Attention 2 方法。支援從 Tesla T4 到 H100 的 NVIDIA GPU，也可移植至 AMD 與 Intel GPU。Unsloth 約可減少 70% 記憶體消耗，讓 Google Colab 或個人筆電等一般硬體也能進行微調。平台提供簡單 API、完整文件，並可無縫整合主流工具與推論引擎，讓開發者、研究人員與 AI 愛好者都能輕鬆上手。

主要功能

極速訓練效能
透過手動優化 GPU 核心與數學運算，單張 GPU 可達 10 倍加速，多 GPU 系統最高可達 32 倍，極大提升微調速度。
高效記憶體運用
可減少約 70% GPU 記憶體用量，讓有限硬體也能進行大型模型微調，且無精度損失。
廣泛模型與硬體支援
支援多種 LLM，包括 Llama（v1-3）、Mistral、Gemma、Phi-3，並可於 NVIDIA、AMD、Intel GPU 上運行。
簡易 API 與開源
提供基於 Transformers 的友善 Python API，文件完整且開源，方便採用與自訂。
無縫整合
可與 Google Colab、Kaggle 等平台相容，支援匯出模型至 Ollama、llama.cpp、vLLM 等推論引擎。
進階訓練技術
支援多種微調方法，包括 QLoRA、LoRA、強化學習（DPO、PPO）及自訂訓練流程。