產品概覽
LM Studio 是什麼？
LM Studio 是一款多功能桌面應用程式，專為在本地端（無需網路）執行與實驗大型語言模型設計。支援 macOS、Windows 與 Linux 平台，並整合 llama.cpp 與 Apple MLX 等開源執行環境，提升模型運算效率。用戶可瀏覽並下載 Hugging Face 上的多種 LLM，透過類 ChatGPT 介面與模型互動，並支援離線文件互動（RAG 檢索增強生成）。LM Studio 也提供 OpenAI 相容本地 API 伺服器，方便與自訂應用程式及腳本整合，確保資料隱私與 AI 工作負載的自主權。
主要功能
本地 LLM 執行
在自己的硬體上執行大型語言模型，無需網路連線，確保資料隱私並可離線使用。
模型探索與管理
可於應用程式內直接瀏覽、下載並載入來自 Hugging Face 的各種開源 LLM。
聊天介面與文件互動
透過直覺的聊天 UI 與模型互動，並利用 RAG 查詢本地文件以提升語境理解。
OpenAI 相容 API 伺服器
透過與 OpenAI 端點相容的 REST API 提供本地模型服務，方便整合外部應用程式與腳本。
跨平台支援
支援 macOS（含 Apple Silicon）、Windows（x64/ARM64）與 Linux，並支援多種執行環境如 llama.cpp 與 MLX。
進階自訂與開發者工具
提供 CLI 工具、SDK（含 Python）、開發者模式，以及模型參數和流程的微調選項。
使用案例
- 重視隱私的 AI 研究 : 研究人員可在本地執行並實驗 LLM，無需將敏感資料暴露於雲端服務。
- 離線文件分析 : 用戶可上傳文件並完全離線與 AI 互動，適用於資料安全需求高的環境。
- AI 應用開發 : 開發者可利用本地模型與 OpenAI 相容 API 開發與測試 AI 應用。
- 自訂 AI 聊天機器人 : 建立僅運作於內部資料、無外部依賴的聊天機器人，提升安全性與控制權。
- 模型實驗與評估 : 可於單一平台輕鬆探索與比較不同開源 LLM，找出最適合特定任務的模型。
常見問題
LM Studio 的替代方案
Jan
開源、重視隱私的 AI 助理，支援本地與雲端模型，具高度自訂與離線能力。
Ollama
在地推論引擎，讓使用者可於本機直接執行與管理大型語言模型（LLM），強化隱私、自訂化與離線 AI 能力。
Google AI Gemini
新一代多模態 AI 助理與平台，整合先進語言、視覺及推理能力，服務於 Google 各產品及開發者工具。
Unsloth AI
開源平台，最高 32 倍加速大型語言模型微調，顯著降低記憶體用量。
Vast.ai
一個 GPU 市集，提供平價且可擴展的雲端 GPU 租賃，具彈性定價與簡易部署，專為 AI 與高運算需求工作負載設計。
Together AI
一個雲端平台，協助用戶以超高速推論、彈性擴展與高性價比自訂模型，打造並運行生成式 AI 應用。
LiteLLM
開源 LLM Gateway，透過標準化 OpenAI 相容介面，統一存取 100+ 語言模型。
Vellum AI
端對端AI開發平臺，支援多模型協作建置、測試、部署與監控AI應用。