TencentのWeChat Visionと西安電子科技大学の研究チームは、2026年10月28日、文章から数分の動画を編集する「WeVisCut」の論文を公開しました。素材探し、ナレーション、画面の構成、確認と修正を、専用のAIモデルと制作ツールで進める仕組みです。[1]
特徴は、動画を作る工程と、作った後に直す工程がつながっていることです。 公開されているStudioには編集可能なタイムラインがあり、気になる場面を人が修正できます。この記事では、①任せられる作業、②編集と修正の仕組み、③研究の比較結果、④導入条件、⑤仕事で試す入口を整理します。[2]
以下は2026-10-30時点の論文・公式コード・モデルカードに基づく紹介です。CAGではモデルの実行、動画の書き出し、日本語の音声や字幕の品質を検証していません。
01 文章から動画を編集するWeVisCut
WeVisCutに渡すのは、解説記事やナレーション用の台本です。AIは内容を章や場面に分け、各場面に合う映像を探し、音声や字幕、装飾、BGMを組み合わせます。社内研修や商品説明のように、伝える文章を先に決められる動画が、仕組みを理解しやすい例です。[2]
中心にあるのは、Qwen3.5-9Bを基に学習した編集用のモデルです。9Bはモデルの規模を表す約90億のパラメータという意味で、読み込んだ編集状況から、次に使う道具を選びます。映像の検索や音声合成、合成処理を実行するのは、モデルに接続された制作ツールです。[4]
| 要素 | 担当すること | 利用側が用意するもの |
|---|---|---|
| 台本・記事 | 動画で伝える内容の出発点 | 確認済みの文章、用途、想定する長さ |
| 編集用AI | 現在の状況から次の操作を選ぶ | モデルと、それを動かす実行環境 |
| 制作ツール | 素材検索、音声、画面構成、確認、書き出し | 素材や音声の供給先、描画の環境 |
完成する映像の品質には、モデル以外の部品も関わります。 同じ台本でも、探せる素材、音声の設定、利用できる画面テンプレートによって見え方が変わります。導入時には、モデルの名前と併せて、素材から書き出しまでの構成を見ます。[4]
論文ではナレーションを固定した制作課題を扱っています。一方、公開Studioでは、完成後に台本や場面を直せます。「決めた文章を動画にする研究評価」と「利用者が文章を変更する編集操作」は、使う場面を分けて理解すると整理しやすくなります。[3][2]
02 作って確かめ、必要な場面を直す
動画は、一つの場面を変えると前後にも影響が出ます。音声が長くなれば映像の尺を変え、使いたい素材が見つからなければ構成を調整する必要があります。WeVisCutは、こうした依存関係を制作の状態として保持します。[3]
状態には、台本のどこまでを使ったか、場面の順番、音声と映像の長さ、素材、描画結果、未解決の問題などが入ります。AIはその情報と道具の実行結果を読み、次に検索するか、描画するか、確認するかを選びます。公式READMEは、この操作の選択肢を12のツールとして整理しています。[2][3]
修正の単位を場面ごとに持てることが、実務では扱いやすい点です。 論文の例では、画面装飾を直すとき、変更のないナレーション音声を再生成せずに済むよう、使える成果物を保持します。必要な材料がそろわない書き出し要求には、不足しているものを実行環境が返します。[3]
人が操作する入口がStudioです。章、ショット、ナレーション、字幕、素材、装飾、BGM、描画という8つのトラックを表示し、一時停止・再開、手動編集、チャットでの修正、場面ごとの再描画、版の巻き戻しを備えると説明されています。[2]
たとえば、社内向けの操作説明なら「冒頭の説明は残し、申請画面の場面だけ差し替える」という直し方が考えられます。これは利用の設計例であり、CAGで試した操作結果ではありません。実際には、自社の画面素材や日本語音声を使って、小さな動画から修正の流れを確認します。
03 「約33分の1」は何を比べた数字か
論文で目を引くのは、Claude Opus 5と同程度の評価を得ながら、生成トークンが大幅に少なかったという報告です。トークンはAIが読み書きする文章の処理単位です。ここでは、完成した動画1分あたりに、編集判断のモデルが生成したトークン数を比較しています。[3]
比較には、学習に使っていない100の制作課題を用い、同じ制作ツール、指示、描画予算などの条件で各モデルを評価しています。下表は論文のTable 1から抜粋しました。総合スコアは5つの評価指標の平均で、成績をまとめた点数です。[3]
| 同じツール環境で使ったモデル | 総合スコア | 完成動画1分あたりの生成トークン |
|---|---|---|
| 学習前のQwen3.5-9B | 74.5 | 11,883 |
| Claude Opus 5 | 89.9 | 78,763 |
| WeVisCut | 90.5 | 2,377 |
横にスクロールして、モデル別の数値を比較できます。
78,763を2,377で割ると約33.1になるため、WeVisCutの生成量はこの条件で約33分の1です。この数字が直接示すのは生成トークンの差で、動画制作の請求額や書き出し時間が同じ割合になることまでは示していません。素材検索、音声、描画、人の確認には、それぞれ別の負担があります。[3]
評価は、台本に忠実か、映像とナレーションが合うか、計画した場面を実現したか、長い動画の整合性を保てたか、再生可能な動画を納品できたか、という5つの観点で行われています。動画ファイルができたという事実と、内容が伝わることの両方を見ている構成です。[3]
この結果は研究チームが報告したものです。比較相手は論文で固定したClaude Opus 5であり、最新モデル全般との比較ではありません。総合スコアの小さな差だけで優劣を決めず、対象が台本付きの動画編集であること、使える素材とツールがそろった条件であることまで含めて読みます。
04 手元で使うための条件を確認する
2026-10-30時点で、公式GitHubにはコードとStudioの導入手順があり、Hugging Faceにはモデルファイルが掲載されています。ブラウザで登録すれば完成動画が届くサービスとしてではなく、実行環境を用意して使う公開プロジェクトとして検討する段階です。[2][8]
| 確認するもの | 公式資料の条件・説明 | 導入時に見る点 |
|---|---|---|
| Python | 3.11以上 | 用意する環境が対応しているか |
| モデル推論 | bf16形式の9Bモデルに約24GBのNVIDIA GPU | GPUの種類とメモリを確認する |
| Studioの画面だけ | モデルを読み込まないUI-onlyモードあり | GPUなしで画面を起動するモード。AIによる制作の完了とは分ける |
| 描画・書き出し | Node.js、FFmpeg、レンダラーをセットアップ | 音声や素材を含めて最後まで接続できるか |
| 素材とBGM | Web検索、自社の検索API、ローカルフォルダ等に対応 | 使いたい素材を検索・取得できるか |
| 日本語 | CAGでの音声・字幕・編集の実測なし | 読み上げ、改行、専門語、修正操作を確認する |
GPU条件は公式が示すbf16での推論の目安です。Macでのモデル実行や、別の形式に軽量化した場合の必要メモリは、この記事では確認していません。UI-onlyモードで画面を見られることと、編集AIを動かせることは別の確認項目です。[4]
素材の供給先は切り替えられます。公式の設定には、映像とBGMをそれぞれローカルフォルダから読む方式もあります。社内研修なら、使用できる画面録画や説明用の映像を先にまとめておくと、試す対象を具体的に決められます。[5]
ローカルフォルダ方式の検索は、ファイル名やフォルダ名、添えた説明などの語句を使います。自然文から意味で探す検索が自動的に備わるわけではないので、素材の名前や説明を整えることも準備に含めます。音声合成や素材取得先が応答しない場合の影響も、制作の接続確認で見ます。[5]
コードにはApache-2.0のライセンスが示されています。モデルカードは重みや第三者の部品にそれぞれの条件があると説明しているため、コード、モデル、使用する映像・音楽の条件を確認して利用します。公開コードを使えることから、取得する素材の利用条件まで一括して判断しないようにします。[6][4]
05 どんな仕事から試すと判断しやすいか
最初の題材には、内容が確定した短い台本と、使用する素材がそろった説明動画が向いていそうです。これは公式の制作構造から考えたCAGの導入案です。商品説明、社内手順、研修の一部分なら、文章と映像の対応を人が確認しやすくなります。
たとえば「経費申請の手順」を動画にするなら、承認済みの台本と画面録画を用意し、冒頭の説明、申請入力、提出後の確認という場面に分けて試します。最初に見るのは、説明の順番が保たれるか、必要な画面が選ばれるか、音声と字幕が読めるかです。
次に、完成した動画の一場面だけを変更します。申請画面を差し替えたとき、修正する場所が分かるか、他の場面に影響が出ないか、修正後の動画を書き出せるかを確かめます。生成の成功と修正のしやすさを同じ題材で見ると、継続して使えるか判断しやすくなります。
| 試す段階 | 確認すること | 残しておく結果 |
|---|---|---|
| 最初の動画 | 台本、素材、音声、字幕がそろうか | 元の台本と完成動画 |
| 一場面の修正 | 変更箇所を直して再出力できるか | 修正前後の動画と作業時間 |
| 運用の判断 | 日本語品質、確認の手間、実行環境の費用が合うか | 利用条件と人が直した内容 |
論文自身も、使える画面テンプレートの範囲や、映像を探す仕組みの安定性が品質に影響すると述べています。自社らしい見せ方や特別な演出が必要な動画は、用意されたテンプレートで表せるかを先に確認します。[3]
WeVisCutを仕事で評価する入口は、作れた動画と、その後の直し方を一緒に見ることです。 文章から素材・音声・編集へつなぐ流れと、必要な場面を修正するStudioが、自社の制作にどこまで合うか。その確認が、導入を決める材料になります。[7]
出典・確認範囲
- WeVisCut論文の登録情報。v1は2026-10-28公開。Tencent WeChat Visionと西安電子科技大学の研究。この記事の新着の起点は論文公開日です。2026-10-30確認。
- 公式GitHub README。12ツール、8トラックのStudio、停止・再開、修正、再描画、巻き戻し、導入手順を確認。CAG未実行。2026-10-30時点。
- 論文全文。制作状態と修正の設計、100課題・5回の評価、Table 1の総合スコアと生成トークン、付録Fの制約を参照。数値は著者報告で、CAGによる再現・比較ではありません。
- 公式モデルカード。Qwen3.5-9B、Python 3.11以上、約24GBのNVIDIA GPU、UI-onlyモード、品質がツール環境に依存することを確認。2026-10-30時点。
- 素材・BGMの供給先の公式ガイド。Web検索、HTTPサービス、ローカルフォルダ、独自プラグインと、フォルダ検索の語句照合を確認。2026-10-30時点。
- 公式LICENSE。Apache-2.0の表示と第三者部品の条件を確認。モデルカードの案内も併せて記載。2026-10-30時点。
- 公式プロジェクトページ。研究の概要と公開デモへの案内。記事内の業務例はCAGの設計案で、実際の制作実績ではありません。2026-10-30確認。
- Hugging Faceの公開モデル情報。2026-10-30取得時、モデルファイルの掲載とアクセス制限フラグgated=falseを確認。モデル置き場の作成日は2026-09-09で、これを重みの一般公開日とは判断していません。
