icon of Shofo

Shofo

多模态训练数据平台,提供计算机使用录像、语音、视频、游戏及专家任务实操素材。

社区:

产品概览

什么是Shofo?

Shofo preview

Shofo 提供用于训练多模态模型的专有数据集。其数据目录涵盖计算机交互、真人出镜视频、语音、游戏以及高技能实际操作。根据数据集的不同,录像中包含文字转录或键盘和鼠标输入日志,帮助团队将视觉和音频内容与操作行为关联起来。客户可以通过自助平台浏览数据集,或联系 Shofo 申请样本。


主要功能

  • 计算机使用数据

    记录专家使用 CAD、Photoshop 及开展研究工作流程的录像,包含屏幕活动以及键盘和鼠标日志。

  • 可筛选的真人出镜视频素材

    配有音频和文字转录的真人出镜(talking-head)视频,支持按物体遮挡、手部遮脸等画面细节进行筛选。

  • 语音与音频数据集

    包含长时语音、播客、访谈和对话,并附带文字转录,涵盖单人及多人录音。

  • 游戏录像

    配有操作输入日志的高水平玩家游戏画面,可将玩家操作与屏幕上的游戏事件对应起来。

  • 专家任务实操素材

    对高技能实际操作的近距离拍摄,涵盖电工作业、外科手术和木工等。


使用场景

  • 计算机使用智能体训练 : 利用专家工作流程录像及对应的输入日志,训练智能体操作各类软件。
  • 视听模型开发 : 利用真人出镜视频、音频和文字转录,研究语音与视觉情境之间的关系。
  • 语音模型训练 : 利用带转录的语音和多说话人录音,构建语音识别和对话音频系统。
  • 游戏行为建模 : 利用与操控输入对齐的游戏录像,研究高水平玩家的行为。
  • 物理任务理解 : 基于近距离演示视频,开发能够识别熟练动作和任务流程的视频模型。

常见问题

Shofo的替代方案

🚀

Shofo网站分析