LM Arena (Chatbot Arena)

LM Arena (Chatbot Arena) 是什麼？

LM Arena（又稱 Chatbot Arena）是由 LMSYS 與 UC Berkeley SkyLab 共同開發的開源平台，致力於透過即時、透明且社群驅動的評測推動大型語言模型（LLM）的發展與理解。用戶可匿名與多個 LLM 互動並進行對比投票，平台利用 Elo 排名系統根據投票結果為模型排名。支援多種公開模型（包含開放權重與商業 API），排行榜會根據用戶回饋持續更新。LM Arena 強調透明、開放科學與協作，並於 GitHub 公開資料集、評測工具及基礎架構。

主要功能

• 群眾協作的模型對比

  使用者可參與匿名、隨機的兩個大型語言模型（LLM）對戰，投票選出較佳回應，產生可靠的比較數據。

• Elo 排名系統

  採用廣為人知的 Elo 排名系統，為 LLM 提供動態且統計嚴謹的表現排名。

• 開源基礎架構

  平台所有組件（包含前端、後端、評測流程與排名演算法）皆為開源，並公開提供。

• 即時且持續評測

  即時收集用戶提問與投票，確保評測結果能反映現有模型能力與真實使用情境。

• 支援公開模型

  納入開放權重、API 介接或服務型態公開的模型，確保透明與可重現性。

• 社群參與與透明度

  鼓勵廣泛參與，並公開用戶偏好數據與提問，促進協作式 AI 研究。

使用案例

• LLM 效能基準測試 : 研究人員與開發者可在真實情境下評估與比較不同大型語言模型的效能。
• 模型部署選擇 : 企業可根據即時社群排名，挑選最適合自身應用的 LLM。
• 開放科學與研究 : 學術界與 AI 從業者可使用共享資料集與工具，進行可重現的研究並推進模型開發。
• 社群回饋促進模型優化 : 模型提供者可蒐集匿名用戶回饋與投票數據，於正式發布前優化自家 AI 系統。

常見問題