【Boximator】動画生成の新たな可能性を切り開く

今日は、ビデオ生成の世界を変革する可能性を秘めた新技術、Boximatorについてご紹介します。Boximatorは、ByteDance Researchによって開発された、ビデオ内のオブジェクトの動きを細かく制御する能力を持つ革新的なツールです。このツールは、ビデオ編集とアニメーション制作に前例のない精密さと柔軟性をもたらすことを目指しています。

【Boximator】動画生成の新たな可能性を切り開く
  • プロンプトの送信回数:5回
  • 使用したモデル:Microsoft Copilot
  • Microsoft Copilotは旧Bing Chatのことを指し、Microsoft Copilot for Microsoft 365とは異なります。

AIとデジタルイノベーションでビジネスを変える時が来ました。

私たちと一緒に、効果的なマーケティングとDXの実現を目指しませんか?

弊社では、生成AI開発やバーチャルインフルエンサーの運用について無料相談を承っております。

お打ち合わせではなくチャットでのご相談もお待ちしております。

お問い合わせ
English Form: Link

目次

Boximatorとは

Boximatorのビデオ生成ステップ

Boximatorと他の動画生成AIで比較

気になる今後の展望は?

AIによるまとめ

この記事は、AI(人工知能)によって生成されたものです。

内容は専門家による監修や校正を経ておらず、AIの現在の能力と知識ベースに基づいています。

したがって、記事の内容には限界があり、専門的な意見や最新の情報を代替するものではありません。

読者は、この記事を参考の一つとして用いることを推奨し、必要に応じて専門家の意見を求めることをお勧めします。

以下から、AIライターの執筆が始まります。

Boximatorとは

Boximatorは、ByteDance Researchによって開発されました。

Boximator: Generating Rich and Controllable Motions for Video Synthesis

この技術は、ビデオ編集とアニメーション制作に前例のない精密さと柔軟性をもたらすことを目指しています。ユーザーがビデオ内のオブジェクトを直感的に選択し、その終了位置と動きのパスを正確に描くことができます。

また、硬い箱(hard box)と柔らかい箱(soft box)の組み合わせを使用して、オブジェクトの動きを細かくコントロールします。

0:00
/0:04

"A woman is running on the street with a dog."のプロンプトとボックスによる制約を組み合わせている。

Boximatorのビデオ生成ステップ

Boximatorは、ビデオ内のオブジェクトを自由に動かしたり、アニメーションを加えたりすることができる、驚くべきツールです。Boximatorの使い方はとても簡単で、以下の4つのステップでビデオを作成できます。

1 オブジェクトの選択と動きのパスの描画

まず、ビデオ内の動かしたいオブジェクトを選択します。例えば、人物や動物や車などです。次に、そのオブジェクトの終了位置と動きのパスを描きます。例えば、オブジェクトをジャンプさせたり、回転させたり、移動させたりできます。このとき、オブジェクトの形やサイズは自動的に調整されます。

2 硬い箱と柔らかい箱

Boximatorは、オブジェクトの動きを細かくコントロールするために、硬い箱(hard box)と柔らかい箱(soft box)の組み合わせを使用します。硬い箱はオブジェクトの位置や動きの軌跡を厳格に指定することができます。例えば、オブジェクトを一定の速度で直線的に動かしたり、特定の角度で回転させたりできます。柔らかい箱はオブジェクトが指定された範囲内で自然に動くためのより柔軟なコントロールを提供します。例えば、オブジェクトをランダムに揺らしたり、重力や摩擦などの物理的な要素を加えたりできます。

3 ビデオ生成モデルとの統合

Boximatorは既存のビデオ合成モデル、例えばPixelDanceに追加されるコンポーネントとして機能します。PixelDanceは、ビデオ内の人物のポーズや表情を変えたり、背景や音楽を変えたりすることができるモデルです。この設計により、BoximatorはPixelDanceの能力を活用しつつ、新たな動きのコントロール機能を導入できます。例えば、ビデオ内の人物をダンスさせたり、飛ばしたり、変身させたりできます。

4 トレーニングと技術革新

Boximatorは、選択されたオブジェクトを識別し追跡するプロセスを簡素化する、革新的な自己追跡技術を導入しました。この技術は、オブジェクトの形や色やテクスチャなどの特徴を学習し、ビデオ内でオブジェクトがどのように動くかを予測します。これにより、Boximatorはトレーニングの効率と精度を向上させ、よりリアルなビデオを生成できます。

左側アイコン
Mia

ここまでのステップを理解した上で、実際の作成された動画が気になるかも!

右側アイコン
AI Lab

デモ画面は現在開発中なのと2月17日まではお休みなので新動画の生成は難しいため、一般公開されている公式からの動画を見てみましょう。

Boximatorと他の動画生成AIで比較

Pika 1.0とGen-2と比較した結果ですが、前提としてBoximator以外の2つの動画生成AIは画像とテキストプロンプトのみで、Boximatorは画像の他にプロンプトとボックスによる制約を組み合わせています。

"Two raccoons in blue shirts are playing a ball, the left one is jumping up."

「青いシャツを着た2匹のアライグマがボールで遊んでおり、左のものが跳び上がっている。」というプロンプトのもと、生成された結果は以下とのことです。

Pika 1.0

0:00
/0:03

"the left one is jumping up."(左のものが跳び上がっている。)の部分が未反映なのと2匹で遊んでいるというよりかは微細に揺れている動画になっています。より詳細なプロンプトだと異なるかもしれませんね。

Gen-2

0:00
/0:04

アライグマの足元を見ると少し構図が崩れてしまっていますね。飛び上がっているというよりかは右に向かって進んでいます。モーションブラシ等が利用できるともう少し変わった結果が待ってそうです。

Boximator

0:00
/0:02

そして、今回のBoximatorですが、プロンプトの再現度がかなり高く、元画像からもブレていないように見えます。また、綺麗に見えすぎない画質なので不気味さも出ておらず動画としてのクオリティが高いことが分かります。

その他の動画のデモでもクオリティが高いものが生成されています。

詳しい内容については、公式サイトからご覧ください。

Boximator: Generating Rich and Controllable Motions for Video Synthesis

動画生成に関しては以下の記事でも解説しています。

【Runway】動画生成AI「Runway」についてAIライターが徹底解説!
Runway Gen2は、AIを活用した動画生成プラットフォームです。ビジネスマンやクリエイターが簡単に高品質なビジュアルコンテンツを制作できるように設計されています。 * プロンプトの送信回数:4回 * 使用したモデル:Microsoft Copilot、ChatGPT、GPTs * Microsoft Copilotは旧Bing Chatのことを指し、Microsoft Copilot for Microsoft 365とは異なります。 AIとデジタルイノベーションでビジネスを変える時が来ました。 私たちと一緒に、効果的なマーケティングとDXの実現を目指しませんか? 弊社では、生成AI開発やバーチャルインフルエンサーの運用について無料相談を承っております。 お打ち合わせではなくチャットでのご相談もお待ちしております。 公式LINEはこちらから 目次 Runway Gen2の概要 利用方法とプラン 各機能についての解説 特徴とビジネスへの影響 今後の展望 AIによるまとめ
【Pika 1.0】AIが創り出す動画の世界:Pikaの魔法
動画制作は、クリエイティブな表現の一つとして長年愛されてきましたが、そのプロセスは複雑で時間とリソースを要するものです。しかし、最新のAI技術「Pika」が、この分野に革新をもたらしています。Pikaは、誰もが簡単に動画を生成できるプラットフォームであり、その可能性は無限大です。

気になる今後の展望は?

Boximatorのデモウェブサイトは現在開発中で、2024年2月13日現在、一般公開はされていません。ただし、早期体験チャンネルが用意されており、wangjiawei.424@bytedance.comにメールを送ることでBoximatorを試すことができます。生成されたビデオは可能な限り早く返信されます。

なお、デモウェブサイトは2-3ヶ月後に利用可能になる予定です。

左側アイコン
AI Lab

現在は春節で休み期間なので、2/18から順次返事が来そうですね!

AIによるまとめ

Boximatorは、ビデオ生成の新たなアプローチを提供します。既存のビデオ生成モデルにプラグインとして機能し、その訓練プロセスは元の重みを固定して制御モジュールのみを訓練することで、基本モデルの知識を保持します。また、その堅牢な動きの制御可能性は、バウンディングボックスの整列指標の大幅な増加によって検証されています。人間の評価でも、ユーザーは基本モデルよりもBoximatorの生成結果を好むことが示されています。これらの特性により、Boximatorはビデオ生成の分野における新たな可能性を切り開くことが期待されています。

最後に

弊社では、AIを活用したマーケティングやDXのご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

公式LINEでも随時、生成AIのトレンドや活用方法について発信しています。

お問い合わせ
English Form: Link

Read more

Contact