Boxel Studio 社が「スーパーマン & ロイス」で Autodesk Flow Studio の AI モーション キャプチャを活用した方法

機械学習によるモーション キャプチャ

2024 年初頭、ハリウッドでのストライキと交渉が収束に向かう中、「スーパーマン & ロイス」最終シーズンの制作スケジュールは短縮され、より厳しい納期と限られた予算内で高品質なビジュアル エフェクトの実現が求められました。このような状況下では、従来のモーション キャプチャ手法はもはや現実的ではありませんでした。
Boxel Studio 社はこれを機会として捉え、機械学習（ML）を活用したマーカーレス モーション キャプチャ技術を有する Wonder Dynamics 社と提携しました。この画期的なソリューションにより、1 台のカメラ アングルから俳優の演技をキャプチャし、それを迅速にモーション データへ変換できるようになり、プロセスを大幅に効率化しました。

従来のワークフローでは 3 週間を要していた作業が、わずか数日で完了し、即座にフィードバックを得られるようになりました。このブレークスルーは、プリビジュアライゼーションを加速させただけでなく、Boxel Studio 社のアニメーション パイプラインを強化し、アーティストにデジタル ダブルの制作における柔軟性と制御性をより多く与えました。その結果、モーション データのシームレスな統合が実現し、スピードが求められる制作現場の要件を満たしつつ、完成度の高い最終成果物を生み出すことができました。

絶好のタイミングで、最適な場所に

2023 年 3 月に、Wonder Dynamics 社の共同創業者 Nikola Todorovic 氏と Tye Sheridan 氏が Autodesk Flow Studio（旧 Wonder Studio）を発表した際、Boxel Studio 社はこの画期的なテクノロジーの初期ベータ テスターとなる機会をいち早く掴みました。Boxel Studio 社の人工知能およびイノベーション担当クリエイティブ ディレクターである Freddy Chávez Olmos 氏は、その経験を次のように振り返ります。

「Wonder Dynamics 社のチームが Autodesk Flow Studio の機能を紹介するために制作した最初のプロモーション映像を見たときの、あの夢のような瞬間を今でもはっきりと覚えています。業界内では懐疑的な見方もありました。あまりにも革新的だったため、本物だとは信じられないという声も多く上がりました。私はすぐにでも Boxel を Wonder Dynamics 社の初期ベータ テスト グループに参加させ、実際の制作現場でのツールの活用方法を探りたいと思いました。」

初期テストの 1 つでは、Boxel Studio 社の新技術責任者 Juan Carlos Galindo 氏が iPhone で撮影し、そのモーション データを Unreal Engine 内のスーパーマンとドゥームズデイのプロキシ モデルにリターゲットしました。Galindo 氏は次のように振り返ります。

「Boxel では、常に新しい発想とアプローチを模索し、型にはまらない考え方を大切にしています。「スーパーマン & ロイス」のような作品は、リアルタイム技術と新たな機械学習ツールを活用して迅速なプリビジュアライゼーションを実現するうえで、理想的なテスト環境でした。」

技術的な課題

初期ベータ テスターとして、Boxel Studio 社はこのテクノロジーの制約を十分に理解していました。これらの制約の中で作業する必要性を理解した上で、Boxel Studio 社のチームは Wonder Dynamics 社の技術チームと密接に連携し、処理されるすべてのデータとセキュリティ プロトコルがクライアントの厳格な要件を満たすようにしました。

新しいテクノロジーをプリビジュアライゼーション段階から実際のショット制作へと発展させることには、さらなる課題が伴いました。これらの課題に対処するため、Boxel 社はモーション キャプチャ データをプロキシ アセットから複雑なリグを備えた本番モデルへリターゲットするカスタム ツールを開発しました。さらに、Maya、Unreal Engine、Cascadeur などのソフトウェアとシームレスに連携できるトランスレータ ツールを構築し、アーティストがアニメーションを柔軟かつ自在に調整できるようにしました。この件について、Juan Carlos Galindo 氏は次のように述べています。

「Unreal Engine の Previz 内で Autodesk Flow Studio を使用した最初のテスト結果を確認した直後、私たちはリギング部門およびアニメーション部門と協力し、Wonder のマーカーレス モーション キャプチャ データを本番用リグに転送する方法の開発を開始しました。この反復的なプロセスでは、アニメーション パイプラインと制作要件を最適化し、アニメーターに正確な制御を可能にする Python ツールとして実装しました。」

制作要件

Boxel 社のチームが「スーパーマン & ロイス」シーズン 3 からシーズン 4 に移行する中で、制作上のハードルはこれまでになく高まりました。シーズン 3 は、ドゥームズデイがスーパーマンと月面で戦うという壮大なクリフハンガーで幕を閉じました。これにより、シーズン 4 の最終話（エピソード 10）では、シーズン 3 の最終話を上回るほど複雑なクリーチャー アニメーションが求められ、通常の状況下においても極めて困難な挑戦になることは間違いありませんでした。

この期間、ハリウッド業界全体は深刻な課題に直面しており、チームはより厳しいスケジュールと限られた予算のもとでシーズン 4 の制作に臨みました。これらの制約により、シーズン 3 でドゥームズデイを生み出す上で重要な役割を果たしたモーション キャプチャ ステージや制作施設といったリソースに依存することができなくなりました。イノベーションは、もはや不可欠な要素となりました。Boxel 社の創設者でありスタジオ責任者である Andres Reyes 氏は次のように述べています。「私たちは、マーカーレスで機械学習を活用したモーション キャプチャ システムを試験運用していました。これは、現実の制作現場ではまだ実証されていない革新的なテクノロジーでした。これらのシステムを導入することは、単なる技術的な飛躍にとどまらず、「スーパーマン & ロイス」チームの信頼と支援に支えられた協働的な取り組みでもありました。」

VFX プロデューサーの Matt Gore 氏およびショーランナーの Todd Helbing 氏と Brent Fletcher 氏の信頼を得ることが極めて重要でした。彼らは制作上の制約を理解したうえで、よりスマートで迅速なソリューションという共通のビジョンを共有し、Boxel 社の実現力に信頼を寄せました。この信頼関係によって、この画期的なテクノロジーをテレビ制作の現場で初めて本格的に導入することが可能になりました。

これを振り返り、Matt Gore 氏は次のように述べています。「シーズン 4 では、これまでの 3 シーズンとは比較にならないほど厳しい予算制約の中で、視覚効果部門と制作チームが作業を進めなければなりませんでした。シーズン 4 の制作に入る時点で、私たちはキャラクター アニメーションを限られた予算の中でどこまで高められるか挑戦し続けたいと考えていました。その結果、私たちはシーズン間で迅速に方向転換を図り、限られたリソースの中でもアニメーターにより多くの制作時間を確保できる方法を見出しました。Boxel 社はこの課題に立ち向かい、これまでのシーズンで使用していたアニメーション パイプラインを改善しただけでなく、予算、効率、品質のいずれの面でも私たちの期待を大きく上回るシステムを開発しました。」

その成果は目覚ましいものでした。シーズン 3 の最終話では、チームは従来のモーション キャプチャ システムを使用して 104 ショットのクリーチャー アニメーションを制作しました。シーズン 4 の最終話（エピソード 10）では、要求されたクリーチャー ショット数が 134 に増加し、さらに高い難易度の制作が求められました。しかし、シーズン 3 では 8 週間あった制作期間が、シーズン 4 ではわずか 6 週間しか与えられていませんでした。これは、番組のクリエイターやファンが期待する高い品質基準を維持しながら、より多くのアニメーションを短期間で制作することを意味しました。

マーカーレスの機械学習ベースのモーション キャプチャ技術を導入したことで、Boxel 社のチームはこれらの厳しい要件を効率的に満たすことができました。この実運用により、この最先端ソリューションがアニメーション パイプラインを加速させるだけでなく、注目度の高い作品制作に必要な品質をも維持できることが実証されました。これは、厳しい納期の中でもイノベーションがワークフローをいかに変革できるかを示す好例となりました。VFX スーパーバイザーの Weverton Alves 氏は次のように強調しています。

「この新しいアプローチにより、オフライン VFX カットの制作中でも迅速に作業を進め、ショットがシーケンス内にシームレスに適合しているかどうかを判断できるようになりました。オフライン段階でドゥームズデイの動きを調整および定義したうえで、アニメーション スーパーバイザーの Hector Gil に制作を進める許可を出すことができたのです。」

新しいテクノロジーを取り入れるスタント部門

「スーパーマン & ロイス」シーズン 4 におけるマーカーレス モーション キャプチャ技術の導入で最もエキサイティングだった点の 1 つは、Boxel Studio 社とスタント コーディネーターの Rob Hayter 氏およびそのチームとのコラボレーションでした。Rob 氏は当初から、このテクノロジーに関する基本的な真理である「入力の品質が出力の品質に直結する」ことを理解していました。この理解こそが、実現可能な表現の限界を押し広げるうえで、彼をかけがえのない協力者にしたのです。Weverton Alves 氏は次のように述べています。

「従来のワークフローでは、パフォーマーは専用ステージでモーション キャプチャ スーツを着用する必要がありましたが、このアプローチではその要件を完全に排除しました。その代わりに、4 台のカメラを戦略的に配置し、パフォーマーの全身映像をフルフレームで撮影しました。この効率化されたセットアップにより、時間を節約できただけでなく、スタント チームは技術的制約に縛られることなく、演技のリアリティと正確さに完全に集中できるようになりました。」

チームをまとめ上げる Rob 氏の柔軟性とリーダーシップは、この革新的なワークフローの成功に欠かせない要素でした。この新しいアプローチを採用したことで、スタント チームは実際の環境で演技を行うことができ、より自然でダイナミックな動きがクリーチャー アニメーションにシームレスに反映されました。

この変化の影響は、スタント コーディネーターおよびそのチームにとって非常に大きなものとなりました。高品質なカメラとマーカーレス モーション キャプチャ技術を組み合わせるだけで、複雑な技術的セットアップを行うことなく、極めてリアルな CG アニメーションおよびモーション キャプチャ データを制作できるようになりました。これにより、スタント チームは自らの技術に専念し、演技を磨きながら、それらのデータを効率化された VFX パイプラインへ直接取り込むことが可能になりました。スタントの芸術性とアニメーションの精密さがこれまで以上に結びついた、新たな時代の幕開けを示しています。

スタント部門と Boxel Studio 社のこの先駆的なコラボレーションは、テクノロジーと芸術性が融合して制作ワークフローを再定義できることを示し、異なる分野の専門家が協力することでイノベーションが生まれることを証明しました。

Rob Hayter 氏は次のように述べています。「Full Circle Action Design は、常に新しいテクノロジーを取り扱うことに強い関心を持っています。「スーパーマン & ロイス」でスタントとモーション キャプチャを VFX ワークフローに初めて統合した当時、それはテレビ業界において非常に先進的な試みでした。しかし今回の取り組みは、それをさらに次の段階へと引き上げました。パフォーマーを正規のユニオン レートで起用するという前例を作ることで、制作チームはスタント部門を最高水準の VFX アクション制作プロセスに直接統合する新たな道を切り開きました。このような取り組みへの真摯な姿勢により、VFX チームはプロのパフォーマーならではの動きや身体技術の精度を得ることができました。それはチーム全体の素晴らしいコラボレーションの成果でした。結果がすべてを物語っていると思います。」

新しいテクノロジーを取り入れるアニメーターたち

アニメーターは舞台裏の名もなき俳優であり、クリーチャーやキャラクターの関節やコントロールを精密に操り、命と感情を吹き込む人形遣いのような存在です。モーション キャプチャ データを洗練させる場合でも、ゼロからアニメーションを新たに創り出す場合でも、アニメーターの芸術性こそが最終成果物の基盤となります。Andres Reyes 氏は次のように説明します。

「モーション キャプチャの能力を高く評価してはいますが、それだけでは十分でないこともあります。制作の過程では、モーション キャプチャ データが不完全な場合や、どんな演技でも表現しきれない創造的な工夫が求められるシーンもあります。そのような場面では、アニメーターが登場します。彼らは単なる技術者ではなく、キャラクターに命を吹き込み物語を紡ぐアーティストでありストーリーテラーなのです。」

「スーパーマン & ロイス」シーズン 3 では、特定のショットで従来の手法に頼ることも多くありました。たとえば、完全に手製のアニメーションを制作する際、アニメーターは自らの演技を参考映像として録画し、鏡に映る自分の動きを観察して繊細なディテールを再現していました。わずか 5 秒間の高品質なショットを完成させるのに、ベテラン アニメーターでも最大で 3 週間を要することもありました。この緻密なプロセスには、求める結果を得るための卓越した技術と献身的な努力が必要でした。

しかし現在では、AI モーション キャプチャの導入によって、このプロセスは一変しました。アニメーターはこれまでどおりカメラの前で自ら演技を録画しますが、その映像を単なる参考資料として使うのではなく、データとして直接処理できるようになりました。これにより、アニメーターはモーション キャプチャ データを抽出し、それをアニメーションの基盤として活用できるようになりました。Weverton Alves 氏は次のように説明しています。「一般的に、スタント チームが撮影現場で収録したモーション キャプチャ データのほとんどは Autodesk Flow Studio を通じて処理され、その後アニメーターに渡されて調整されます。ただし、編集後にクライアントのレビューを受ける段階では、シーケンス全体の文脈に合わせて大幅な調整が必要となるショットもありました。このプロセスの中で得られた興味深い発見のひとつは、Misael Garcia 氏のようなアニメーターが、自身のモーション キャプチャ演技を録画し、それをデイリー レビューでの迅速なビジュアライゼーションの出発点として活用したことです。」

その影響は極めて大きなものでした。以前は数週間を要した緻密な作業が、現在では同等の品質を維持しながら、わずかな時間（多くの場合 2〜3 日以内）で完了できるようになりました。作業時間を短縮できたことで、アニメーターは細部のブラッシュアップや作品の感情表現の深みを高めることに、より多くの時間を割けるようになりました。従来の手法と最先端テクノロジーの融合により、これまでにない効率性と創造性が実現し、アニメーターは厳しいスケジュールの中でも最高水準の成果を生み出せるようになりました。

このようにイノベーションと芸術性をシームレスに融合させることが、現代の制作現場におけるアニメーターの役割の進化を象徴しています。これらのツールを積極的に活用することで、アニメーターは表現の限界を押し広げ、どんなに幻想的なキャラクターやクリーチャーであっても、リアルで感情的に訴えかける存在として画面上に描き出しています。Juan Carlos Galindo 氏は次のように述べています。

「熟練したアニメーターは、Wonder のモーション キャプチャ データを洗練された最終アニメーションへと効率的に仕上げるうえで欠かせない存在です。私たちのアニメーターはこのテクノロジーを積極的に取り入れ、その可能性を最大限に引き出しながら、驚くべき成果を上げています。」

イノベーションを追い続け、前進する

急速に進化し続ける新技術の時代においても、Boxel Studio 社は人間の創造力とストーリーテリングこそが、あらゆる技術革新の中心であるべきだと強く信じています。この理念は、Wonder Dynamics 社およびオートデスクと共有する中核的な価値観でもあります。Freddy Chávez Olmos 氏は次のように詳しく述べています。

「私たちは常に新しいツールに注目し、テクノロジーの力を借りてより効率的にストーリーを語るための新しい方法を絶えずテストし、評価しています。私自身も映画制作者として、クライアントと協働する際には常にその視点から仕事に取り組んでいます。

新しいテクノロジーによって、私たちはより多面的で実験的になり、他分野への探求心も高まっています。これまでアーティストはひとつの専門分野にとどまりがちでしたが、今は複数の役割を担いながら時間とリソースを最大限に活用できる無限の可能性の時代に生きています。映画制作者として、これはまさに夢の実現です。Wonder Dynamics 社とオートデスクによって開発された革新的な新ツール群を制作現場に導入し、それらが今後どのようにクリエイティブ ワークフローを進化させていくのかを見るのが楽しみです。」

Nikola Todorovic 氏、Freddy Chávez Olmos 氏、Michael Black 氏が SIGGRAPH 2024 で AI とストーリーテリングの未来について講演。

Andres Reyes 氏は次のように締めくくっています。「Boxel の創設者でありスタジオ責任者として断言できるのは、ストーリーテラーとしての心とイメージ エンジニアとしての技術が私たちの DNA を形成しているということです。この信念こそが、私たちのすべての行動の原動力です。Boxel は、個人として自己中心的に考えるために存在しているのではありません。私たちは、スタジオ、監督、ショーランナーを支援することに全力を注ぐプロフェッショナルのチームであり、最も心を動かすストーリーを伝えるという使命のもと、創造的にも技術的にも支援を続けています。

コラボレーションとイノベーションによって発展する業界の中で、私たちは新しい関係を築くことの重要性を受け入れています。変革と革新はこの業界において常に起こるものですが、私たちはその変化を業界全体の発展へとつなげるチャンスが常に存在すると信じています。私たちが力を合わせれば、ストーリーテリングの未来を形づくることができるのです。」

Weverton Alves 氏、Andres Reyes 氏、Freddy Chávez Olmos 氏、Juan Carlos Galindo 氏が SIGGRAPH 2024 にて、機械学習に関するショーケースを発表。