チュートリアル / Flow Studioと往く～キャラクターアニメーションの新しい世界～
第1回：ここに4つのプロジェクトタイプがあるじゃろ？

Live Action Easy/Advanced

Live ActionはEasyとAdvancedの2つのプロジェクトタイプがありますが、どちらも主要用途が「合成映像（実写に3Dキャラクターを合成した映像）を書き出す」という点では同じです。
また、人物を削除した映像（Clean Plate）や、人物のマスク素材（Alpha Masks）トラッキングされたカメラ（Camera Track）などの合成用素材を含む多くのアウトプットを用意しているという点も同じです。

この2つの違いはモーションキャプチャ設定の項目数にあります。
Advancedではキャラクター割り当て後に、Easyでは表示されない追加オプションがいくつか表示されます。

今回は4つのプロジェクトタイプを全体的にご紹介したいので、Advancedの追加設定項目それぞれの内容に関してはまた別の機会に追究していきたいと思います。

取り急ぎは「簡単に作業したい場合はEasyを、もう少し追加で設定したいことがある場合はAdvanced」といった部分だけでも覚えておいていただけますと幸いです。

このプロジェクトタイプは3Dシーンファイルやモーションファイルも書き出せますが、特に合成映像を作成する際に便利に使っていただけるので、合成映像の作品制作や、VTuber様の活動などに是非とも使用していただきたいと個人的には思っております。

下の映像は元の映像と合成後の映像を並べたものです。（特に後処理などはしていません。）
Live Actionではライティング素材も実写映像を元に自動的に作られますので、キャラクターの見え方もそれなりに背景になじんでいるかと思います。

AI Motion Capture

AI Motion Captureはモーションのみを書き出すことのできるプロジェクトタイプです。
基本的な作業工程はLive Actionと同じですが、書き出し設定で選べる項目がモーションファイルのフォーマット（FBX or USD）のみとなっています。
書出せるものがモーションのみというのもあって、消費クレジットはLive Actionやこの後紹介するAnimation/Video to 3D Sceneの半分となっています。

ですので、このプロジェクトタイプは「とにかくたくさんモーションだけとりたい」という方に使っていただければと思います。

ちなみに、AI Motion Captureプロジェクトタイプは他のプロジェクトタイプとは違い、現状カメラトラックに対応していません。
撮影時のカメラが移動していたり回転していたりしていても、そのカメラの動きは考慮されないので注意が必要です。

左がLive Action、右がAI Motion Capture。AI Motion Captureはカメラの動きに対応していないことが分かる。

Animation/Video to 3D Scene

Animation/Video to 3D Sceneプロジェクトタイプは、その名の通り映像から取得したモーションを3Dシーン上で使用することを想定したプロジェクトタイプです。

先にご紹介したLive ActionやAI Motion Captureプロジェクトタイプで取得したモーションは、あくまでも映像合わせでキャラクターアニメーションを作成しているので、映像上はそれらしく見えていたとしても、3Dシーン上で確認した際に足が沈んでいたり浮いていたり、滑っていたり、体が傾いていたりすることがあります。
Animation/Video to 3D Sceneプロジェクトタイプは、そこからモーションに補正を加えて3Dシーン上で見た際のズレを少なくしてくれます。

つまり現状、この4つのプロジェクトタイプの中では、モーション精度的には一番高いプロジェクトタイプと言えるかと思います。

その他にも、複数の別々なアングルのカットで構成された動作を自動的につなげて一連の動作のようにしてくれる機能や、隠れた部分の動きを予測してモーションを作ってくれるようなユニークな機能も搭載しています。

被写体の下半身が隠れている時もキャラクターはモーションを予測し足踏みしながら方向転換している

ただしモーションを補正する分、映像合わせでつくられたモーションとは結果が変わってくるので合成映像は書き出すことができません。
ですので、このプロジェクトタイプは3Dシーンファイルを書き出して使用する前提でご活用いただければと思います。

4つのプロジェクトタイプそれぞれの特徴としては以上のような形です。
・Live Action Easy/Advanced→合成映像を作る
・AI Motion Capture→モーションをたくさんとる
・Animation/Video to 3D Scene→3Dシーンファイルを活用する
一例ではありますがこのような形でそれぞれ使い分けていただければと思います。

さて、ここまではそれぞれのプロジェクトタイプを概要的に解説してきましたが、「実際どの程度のモーションがとれるんだい？」と気になっている方もいらっしゃるかと思います。
ここからは、それぞれのプロジェクトタイプから出力した3Dシーンファイルやモーションファイルをみながら、プロジェクトタイプ毎の違いについて確認していきたいと思います。

Flow Studioでの作業

・基本的な作業内容はどのプロジェクトタイプでもほとんど同じ。
・ただしAnimation/Video to 3D Sceneだけは環境設定の工程がある。
・選ぶ環境によって3Dシーン上のキャラクター初期位置が大きく変わるので注意が必要。
・Animation/Video to 3D SceneでアサインできるキャラクターはUSD書き出しに対応しているものだけ。

Animation/Video to 3D SceneでアサインするキャラクターはUSD書き出しに対応している必要がある

Mayaで開いたときの配置

・AI Motion Captureから書き出したFBXのボーンは異常に大きくなっていたり小さくなっていたりすることがある。
・AI Motion Captureはカメラトラックに対応していない。
・AI Motion Captureのカメラは原点位置に配置されるため、元の動画のカメラ位置・角度によってはスケルトンが全体的に傾いたり、グランドレベルより低い（or高い）位置に配置されたりする。
・Live Actionのカメラ位置・角度は、カメラトラッキング機能が働くかどうかによって変わる。（カメラトラッキング機能を設定する場合は書き出し設定時にCamera Trackオプションを有効にする。）
・元の動画が固定されたカメラで撮影されていてFlow Studioによってトラッキング（カメラトラッキング）されなかった場合、Live Actionのカメラ位置は原点位置となり、結果キャラクターの位置もそこからの相対位置になる。（多くの場合グランドレベルより低かったり高かったりする位置になる）
・元の動画が大きく動いていたりして、Flow Studioによってトラッキング（カメラトラッキング）された場合、Live Actionのカメラとキャラクターの位置・角度は実際の位置・角度を想定した配置になる。
・Animation/Video to 3D Sceneでは映像から取得したキャラクターアニメーションを3D空間で見たときに正しくなるよう補正し、さらにカメラトラッキングにも対応しているため、カメラとキャラクターの位置・角度は実際の位置・角度を想定した配置になる。
・ちなみに動画では触れてないが、カメラからの距離はFlow Studioでの作業中にFocal Lengthを変更することで大きく変わる。（今回はすべて既定値のAutoで処理）

ボーンの構成

・AI Motion Captureでは、Flow Studio用にマッピングされたボーンが書き出される。
・Live Action、Animation/Video to 3D Sceneでは、Flow Studio用にマッピングされたボーン以外も書き出されるが、あくまでもFlow Studioのモーションキャプチャに対応しているボーンはマッピングされたもののみ。（最大52個）

モーション精度

・Live ActionとAI Motion Captureのモーションはほとんど同じ
・Animation/Video to 3D Sceneはそこから補正されている。
・したがって3D空間上で見た時にはAnimation/Video to 3D Sceneから書き出されたモーションが一番きれいに見える場合が多い。