产品概览
什么是RunInfra？
RunInfra 为编程智能体及其他基于智能体的应用提供开放模型托管服务。其会话感知路由会将重复请求发送至已保留相应上下文的副本，从而通过缓存帮助降低输入成本。开发者可通过兼容 OpenAI 和 Anthropic 的 SDK 进行连接，编程用户则可为受支持的智能体选择订阅方案。
主要功能
会话感知缓存
将重复请求路由至已保留其上下文的副本，缓存命中成功时按更低的缓存输入费率计费。
兼容的 API 接入
使用一个 RunInfra API 密钥，即可通过 OpenAI 和 Anthropic SDK 进行连接。
开放模型库
提供多种开放模型；受支持的模型可使用工具调用、JSON 模式、流式输出和图像输入等功能。
编程智能体集成
为编程智能体提供 CLI 辅助配置，订阅方案每月 10 美元起。
隐私与安全
托管模型 API 默认采用零数据保留策略，并提供加密、工作区访问控制，且不会使用提示词或补全内容进行训练。
使用场景
- 智能体辅助开发 : 将编程智能体连接至托管的开放模型，用于代码生成、调试和代码仓库相关任务。
- 多轮智能体工作流 : 对于重复使用对话历史、指令或工作区上下文的智能体，可降低重复上下文带来的成本。
- 工具调用型应用 : 使用受支持的模型构建可调用外部工具并返回结构化 JSON 的智能体。
- 模型评估 : 根据公开的定价、功能、速度测量结果和缓存统计数据，对托管模型进行比较。
常见问题
RunInfra的替代方案
🚀
OpenAI o1
面向增强推理优化的先进 AI 模型系列，在复杂编程、数学和科学问题解决方面表现卓越。
♨️ 2.82K🇺🇸 67.85%
Freemium
DeepSeek V3
一款开源、专家混合架构的顶尖大语言模型，具备6710亿参数，带来高速、高效与多功能AI能力。
♨️ 1.47K🇻🇳 100%
Free
Lune AI
面向开发者的AI平台，提供专注编程领域的专家LLM，减少幻觉，提高准确率。
♨️ 630🇺🇸 59.56%
Freemium
DeepSeek V3
一款采用 Mixture-of-Experts 架构、拥有 6710 亿参数的开源大语言模型，兼具高效能与卓越 AI 任务表现。
♨️ 0 -
Freemium
Claude AI
Anthropic 推出的高级 AI 助手，具备多模态能力，强大的推理、编程和对话技能。
♨️ 1.01B🇺🇸 25.08%
Freemium
DeepSeek
中国AI企业，致力于提供高性价比、开源大语言模型，具备先进多模态能力及企业级AI解决方案。
♨️ 313.06M🇨🇳 49.26%
Freemium
Qwen AI
阿里云先进的大语言模型系列，具备强大的多模态AI能力，支持广泛定制与高效应用。
♨️ 34.82M🇷🇺 35.37%
Free
智谱
前沿AI平台，通过交互式聊天界面提供具有高级推理和研究能力的开源大型语言模型。
♨️ 18.95M🇨🇳 15.82%
Freemium