產品概覽
RunInfra 是什麼？
RunInfra 為程式設計代理及其他代理型應用程式提供開放模型的託管存取服務。其工作階段感知路由會將重複請求傳送至已保留相關上下文的副本，藉由快取協助降低輸入成本。開發人員可透過相容於 OpenAI 與 Anthropic 的 SDK 連線，而程式設計使用者則可針對支援的代理選擇訂閱方案。
主要功能
工作階段感知快取
將重複請求路由至已保留其上下文的副本，成功命中快取時，將依較低的快取輸入費率計費。
相容的 API 存取
使用單一 RunInfra API 金鑰，即可透過 OpenAI 與 Anthropic SDK 連線。
開放模型庫
提供多種開放模型；支援的模型可使用工具呼叫、JSON 模式、串流及影像輸入等功能。
程式設計代理整合
提供 CLI 輔助的程式設計代理設定流程，訂閱方案每月 10 美元起。
隱私與安全
託管模型 API 預設採用零資料保留政策，並提供加密、工作區存取控制，且不會使用提示詞或生成內容進行訓練。
使用案例
- 代理輔助開發 : 將程式設計代理連接至託管的開放模型，以執行程式碼生成、偵錯及程式碼儲存庫相關任務。
- 多輪代理工作流程 : 降低代理重複使用對話記錄、指令或工作區上下文時所產生的重複上下文成本。
- 工具使用型應用程式 : 透過支援的模型建立可呼叫外部工具並傳回結構化 JSON 的代理。
- 模型評估 : 根據公開的定價、功能、速度測量結果及快取統計資料，比較不同的託管模型。
常見問題
RunInfra 的替代方案
OpenAI o1
專為強化推理優化的進階 AI 模型系列，擅長複雜程式、數學及科學問題解決。
DeepSeek V3
最先進的開源 Mixture-of-Experts 大型語言模型，具備 6710 億參數，提供快速、高效且多元的 AI 能力。
Lune AI
專為開發者打造的 AI 平台，提供專精於各類程式主題的專家 LLM，降低幻覺、提升準確率。
DeepSeek V3
最先進的開源大型語言模型，擁有 6710 億參數，採用 Mixture-of-Experts 架構，專為高效能 AI 任務設計。
Claude AI
由 Anthropic 推出的進階 AI 助理，具備多模態能力、強大推理、程式編寫及對話技巧。
DeepSeek
中國 AI 公司，提供高性價比、開源大型語言模型，具備先進多模態能力與企業級 AI 解決方案。
Qwen AI
阿里雲推出的先進大型語言模型系列，具備強大多模態AI能力，支援高度客製化與高效率應用。
智谱
前沿AI平台，透過互動式聊天界面提供具有高級推理和研究能力的開源大型語言模型。