LM Arena (Chatbot Arena)
開源、社群驅動的大型語言模型（LLM）即時基準評測平台，透過群眾對比與 Elo 排名進行評分。
產品概覽
LM Arena (Chatbot Arena) 是什麼？
LM Arena（又稱 Chatbot Arena）是由 LMSYS 與 UC Berkeley SkyLab 共同開發的開源平台，致力於透過即時、透明且社群驅動的評測推動大型語言模型（LLM）的發展與理解。用戶可匿名與多個 LLM 互動並進行對比投票，平台利用 Elo 排名系統根據投票結果為模型排名。支援多種公開模型（包含開放權重與商業 API），排行榜會根據用戶回饋持續更新。LM Arena 強調透明、開放科學與協作，並於 GitHub 公開資料集、評測工具及基礎架構。
主要功能
群眾協作的模型對比
使用者可參與匿名、隨機的兩個大型語言模型（LLM）對戰，投票選出較佳回應，產生可靠的比較數據。
Elo 排名系統
採用廣為人知的 Elo 排名系統，為 LLM 提供動態且統計嚴謹的表現排名。
開源基礎架構
平台所有組件（包含前端、後端、評測流程與排名演算法）皆為開源，並公開提供。
即時且持續評測
即時收集用戶提問與投票，確保評測結果能反映現有模型能力與真實使用情境。
支援公開模型
納入開放權重、API 介接或服務型態公開的模型，確保透明與可重現性。
社群參與與透明度
鼓勵廣泛參與，並公開用戶偏好數據與提問，促進協作式 AI 研究。
使用案例
- LLM 效能基準測試 : 研究人員與開發者可在真實情境下評估與比較不同大型語言模型的效能。
- 模型部署選擇 : 企業可根據即時社群排名，挑選最適合自身應用的 LLM。
- 開放科學與研究 : 學術界與 AI 從業者可使用共享資料集與工具，進行可重現的研究並推進模型開發。
- 社群回饋促進模型優化 : 模型提供者可蒐集匿名用戶回饋與投票數據，於正式發布前優化自家 AI 系統。
常見問題
LM Arena (Chatbot Arena) 的替代方案
Portkey
Portkey 是一套 AI 控制面板，提供 AI 應用的可觀測性與管理工具，讓團隊能掌握安全性與互動管理。
Reka AI
企業多模態模型建構者，提供可在任何地方彈性部署的視覺、音訊和文字處理能力。
Featherless AI
無伺服器 AI 推論平台，提供數千款 Hugging Face 模型即時、可擴展的託管服務，無需管理伺服器。
GMI Cloud
一個推論優先的GPU雲端平台，結合serverless推論和專用GPU基礎設施，用於生產AI工作負載，基於NVIDIA硬體建構。
Pioneer AI
面向 SLM 和 LLM 的 Agent 微調平台，具有一鍵設置、自適應推理和持續模型改進功能。
Llama 4
Meta 最新一代開放權重多模態大型語言模型，於文字、圖像理解及超長上下文處理皆具備頂尖效能。
Inception Labs
革命性Diffusion大型語言模型，為AI應用帶來前所未有的速度、效率與控制力。
Arcee AI
一家美國開放智慧實驗室，構建高效的開放權重語言模型，可在邊緣、本地或雲端運行，無供應商鎖定。