【Boximator】動画生成の新たな可能性を切り開く
今日は、ビデオ生成の世界を変革する可能性を秘めた新技術、Boximatorについてご紹介します。Boximatorは、ByteDance Researchによって開発された、ビデオ内のオブジェクトの動きを細かく制御する能力を持つ革新的なツールです。このツールは、ビデオ編集とアニメーション制作に前例のない精密さと柔軟性をもたらすことを目指しています。
- プロンプトの送信回数：5回
- 使用したモデル：Microsoft Copilot
- Microsoft Copilotは旧Bing Chatのことを指し、Microsoft Copilot for Microsoft 365とは異なります。
AIとデジタルイノベーションでビジネスを変える時が来ました。
私たちと一緒に、効果的なマーケティングとDXの実現を目指しませんか？
弊社では、生成AI開発やバーチャルインフルエンサーの運用について無料相談を承っております。
お打ち合わせではなくチャットでのご相談もお待ちしております。
Hiro from AI Lab
目次
Boximatorとは
Boximatorのビデオ生成ステップ
Boximatorと他の動画生成AIで比較
気になる今後の展望は？
AIによるまとめ
この記事は、AI（人工知能）によって生成されたものです。
内容は専門家による監修や校正を経ておらず、AIの現在の能力と知識ベースに基づいています。
したがって、記事の内容には限界があり、専門的な意見や最新の情報を代替するものではありません。
読者は、この記事を参考の一つとして用いることを推奨し、必要に応じて専門家の意見を求めることをお勧めします。
以下から、AIライターの執筆が始まります。
Boximatorとは
Boximatorは、ByteDance Researchによって開発されました。
この技術は、ビデオ編集とアニメーション制作に前例のない精密さと柔軟性をもたらすことを目指しています。ユーザーがビデオ内のオブジェクトを直感的に選択し、その終了位置と動きのパスを正確に描くことができます。
また、硬い箱（hard box）と柔らかい箱（soft box）の組み合わせを使用して、オブジェクトの動きを細かくコントロールします。
"A woman is running on the street with a dog."のプロンプトとボックスによる制約を組み合わせている。
Boximatorのビデオ生成ステップ
Boximatorは、ビデオ内のオブジェクトを自由に動かしたり、アニメーションを加えたりすることができる、驚くべきツールです。Boximatorの使い方はとても簡単で、以下の4つのステップでビデオを作成できます。
1 オブジェクトの選択と動きのパスの描画
まず、ビデオ内の動かしたいオブジェクトを選択します。例えば、人物や動物や車などです。次に、そのオブジェクトの終了位置と動きのパスを描きます。例えば、オブジェクトをジャンプさせたり、回転させたり、移動させたりできます。このとき、オブジェクトの形やサイズは自動的に調整されます。
2 硬い箱と柔らかい箱
Boximatorは、オブジェクトの動きを細かくコントロールするために、硬い箱（hard box）と柔らかい箱（soft box）の組み合わせを使用します。硬い箱はオブジェクトの位置や動きの軌跡を厳格に指定することができます。例えば、オブジェクトを一定の速度で直線的に動かしたり、特定の角度で回転させたりできます。柔らかい箱はオブジェクトが指定された範囲内で自然に動くためのより柔軟なコントロールを提供します。例えば、オブジェクトをランダムに揺らしたり、重力や摩擦などの物理的な要素を加えたりできます。
3 ビデオ生成モデルとの統合
Boximatorは既存のビデオ合成モデル、例えばPixelDanceに追加されるコンポーネントとして機能します。PixelDanceは、ビデオ内の人物のポーズや表情を変えたり、背景や音楽を変えたりすることができるモデルです。この設計により、BoximatorはPixelDanceの能力を活用しつつ、新たな動きのコントロール機能を導入できます。例えば、ビデオ内の人物をダンスさせたり、飛ばしたり、変身させたりできます。
4 トレーニングと技術革新
Boximatorは、選択されたオブジェクトを識別し追跡するプロセスを簡素化する、革新的な自己追跡技術を導入しました。この技術は、オブジェクトの形や色やテクスチャなどの特徴を学習し、ビデオ内でオブジェクトがどのように動くかを予測します。これにより、Boximatorはトレーニングの効率と精度を向上させ、よりリアルなビデオを生成できます。
ここまでのステップを理解した上で、実際の作成された動画が気になるかも！
デモ画面は現在開発中なのと2月17日まではお休みなので新動画の生成は難しいため、一般公開されている公式からの動画を見てみましょう。
Boximatorと他の動画生成AIで比較
Pika 1.0とGen-2と比較した結果ですが、前提としてBoximator以外の2つの動画生成AIは画像とテキストプロンプトのみで、Boximatorは画像の他にプロンプトとボックスによる制約を組み合わせています。
「青いシャツを着た2匹のアライグマがボールで遊んでおり、左のものが跳び上がっている。」というプロンプトのもと、生成された結果は以下とのことです。
Pika 1.0
"the left one is jumping up."(左のものが跳び上がっている。)の部分が未反映なのと2匹で遊んでいるというよりかは微細に揺れている動画になっています。より詳細なプロンプトだと異なるかもしれませんね。
Gen-2
アライグマの足元を見ると少し構図が崩れてしまっていますね。飛び上がっているというよりかは右に向かって進んでいます。モーションブラシ等が利用できるともう少し変わった結果が待ってそうです。
Boximator
そして、今回のBoximatorですが、プロンプトの再現度がかなり高く、元画像からもブレていないように見えます。また、綺麗に見えすぎない画質なので不気味さも出ておらず動画としてのクオリティが高いことが分かります。
詳しい内容については、公式サイトからご覧ください。
動画生成に関しては以下の記事でも解説しています。
Hiro from AI Lab
Hiro from AI Lab
気になる今後の展望は？
Boximatorのデモウェブサイトは現在開発中で、2024年2月13日現在、一般公開はされていません。ただし、早期体験チャンネルが用意されており、wangjiawei.424@bytedance.comにメールを送ることでBoximatorを試すことができます。生成されたビデオは可能な限り早く返信されます。
なお、デモウェブサイトは2-3ヶ月後に利用可能になる予定です。
現在は春節で休み期間なので、2/18から順次返事が来そうですね！
AIによるまとめ
Boximatorは、ビデオ生成の新たなアプローチを提供します。既存のビデオ生成モデルにプラグインとして機能し、その訓練プロセスは元の重みを固定して制御モジュールのみを訓練することで、基本モデルの知識を保持します。また、その堅牢な動きの制御可能性は、バウンディングボックスの整列指標の大幅な増加によって検証されています。人間の評価でも、ユーザーは基本モデルよりもBoximatorの生成結果を好むことが示されています。これらの特性により、Boximatorはビデオ生成の分野における新たな可能性を切り開くことが期待されています。
最後に
弊社では、AIを活用したマーケティングやDXのご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
公式LINEでも随時、生成AIのトレンドや活用方法について発信しています。
Hiro from AI Lab
