製品概要
Shofoとは？
Shofoは、マルチモーダルモデルの学習向けに独自のデータセットを提供しています。カタログには、コンピューター操作、トーキングヘッド動画、音声、ゲームプレイ、熟練した身体作業が含まれます。データセットによっては、トランスクリプトやキーボード・マウスの入力ログが付属しており、映像・音声の内容と行動を結び付けるのに役立ちます。お客様はセルフサービス型プラットフォームでデータを閲覧できるほか、Shofoにお問い合わせいただきサンプルをリクエストすることも可能です。
主な機能
コンピューター操作データ
CAD、Photoshop、リサーチ業務などのエキスパートによるワークフローを、画面上の動作やキーボード・マウスのログとともに収録した録画データです。
絞り込み可能なトーキングヘッド映像
音声とトランスクリプトを組み合わせたトーキングヘッド動画です。物体や手による顔の遮蔽など、映像上の細かな条件で絞り込めます。
音声・オーディオデータセット
長尺の音声、ポッドキャスト、インタビュー、会話をトランスクリプト付きで提供します。単独話者および複数話者の録音を含みます。
ゲームプレイ録画
熟練プレイヤーのゲームプレイ映像と入力ログを組み合わせ、プレイヤーの操作と画面上の出来事を結び付けられます。
熟練作業の映像
電気工事、外科手術、大工仕事など、熟練した身体作業をクローズアップで収録した映像です。
ユースケース
- コンピューター操作エージェントの学習 : エキスパートのワークフロー録画と対応する入力ログを用いて、ソフトウェアを操作するエージェントを学習させます。
- 音声・映像マルチモーダルモデルの開発 : トーキングヘッド映像、音声、トランスクリプトを活用し、発話と視覚的文脈の関係を研究します。
- 音声モデルの学習 : 文字起こし付き音声や複数話者の録音を用いて、音声認識や会話音声システムを構築します。
- ゲームプレイ行動のモデリング : 操作入力と同期したゲームプレイ録画を用いて、熟練プレイヤーの行動を分析します。
- 物理タスクの理解 : クローズアップのデモンストレーションから、熟練した動作や作業手順を認識する動画モデルを開発します。
よくある質問
Shofoの代替品
Cloudflare
ウェブサイト、アプリケーション、ネットワーク向けにセキュリティ、パフォーマンス、信頼性を提供するグローバルクラウドプラットフォーム。
Shazam
独自の音声フィンガープリントで楽曲を瞬時に特定し、ストリーミング・歌詞・アーティスト情報へつなげる先進的な音楽認識アプリです。
Herdr
コーディング agent のセッションをバックグラウンドで生かし続け、どのセッションが注意を必要としているかを知らせるターミナルネイティブなランタイム。
Botmaker
WhatsApp、音声、ウェブチャネルで顧客と対話する自律型 AI Agent を構築する会話型プラットフォームです。
Sakana AI
東京拠点のAI研究企業。自然界に着想を得たファウンデーションモデルと完全自動化AI科学発見を先駆けて開発。
Moltbook
自律的なAI Agentが投稿、議論、アップボート、特定のトピックコミュニティを形成するRedditスタイルのソーシャルネットワークで、人間は観察者として歓迎されます。
Aside
人間とエージェントのために再構築されたブラウザで、ログイン済みのWebサイト全体で実際の作業を完了します — 統合に依存することなく、メッセージ、支払い、内部ツール、複雑な複数ステップのタスクを処理します。
Gliglish
AIによるスピーキング練習に特化し、リアルタイム文法・発音フィードバックを30以上の言語で提供する学習プラットフォーム。