チュートリアル / Flow Studioと往く～キャラクターアニメーションの新しい世界～
第2回：この冬注目のモーキャプコーデ

皆さんこんにちは！
オートデスクの吉田です。

寒いですね！（執筆時1月）

私北海道出身でして、よく東京の方に「北海道の人は東京の冬なんて寒くないでしょ？」と言われるのですが、そんなことはございません。
そもそも北海道にいた時は今よりずっと厚着していましたから、外気に直接触れる部分以外の体感温度は東京も北海道もそれほど変わらないのでは？と思ってしまいます。
かといって北海道にいたころの服装で東京にいると、外にいるときは暖かくていいかもしれませんが、屋内に入ったときに暑くてかないません。
上京したての頃はその塩梅がいまいちわからなくて苦労した記憶があります。
その状況に合った服装というのは大事だなぁと思う今日この頃です。

Flow Studioのような映像ベースのモーションキャプチャにおいても服装というのは大事になってきます。今日はそんなお話をお届けしたいと思います。

「モーションキャプチャに適した服装」と聞くと、皆様どのような服装を思い浮かべるでしょうか？
きっと多くの方が黒くてタイトな服装をイメージされるかと思います。
普段、CGやモーションキャプチャのお仕事をされていない方でも、映画やゲームのメイキング映像などで一度はそのような姿のモーションアクターさんを見たことがあるかと思います。

あの服装にはもちろん理由があります。
一例ですが、黒い服装は体中につけた白い反射マーカーを目立たせる効果がありますし、タイトな服装はマーカーのズレを防ぐ効果があります。
ただし、これは光学式モーションキャプチャシステムなどの場合という前提でのお話です。

では、映像からモーションを取得するFlow Studioにおいても「黒くてタイトな服装」は歓迎されるのか？

先に結論を言ってしまうとFlow Studioでは「黒い服」や「ダボダボな服」は推奨されていません。「暗すぎず明るすぎない服装」、「タイトな服装」が推奨されます。
そして、服の色は背景と馴染まない色のほうが良いです。

しかしながら、服装の違いによってキャプチャ精度がどの程度違ってくるのかを示した具体的な情報は、私の知る限りまだ存在しません。
であれば「このコラムでやってみよう！」というのが今回の検証です。
検証しておくことによって、実務で壁にぶつかった際の対応策も講じやすくなるかと思いますので、よろしければご参考までに見ていっていただけますと幸いです。

今回はFlow Studioで推奨されている「暗すぎず明るすぎない服」「タイトな服」と、推奨されていない「黒い服」、「ダボダボな服」それぞれのキャプチャ精度の違いを検証していきたいと思います。
ということでまずは黒い服を用意してみました。

黒いですね。
この段階でもうFlow Studioがモーションを認識してくれるのか不安になってきました。
ところどころ黒くつぶれてしまっていて、この写真だけ見ても指の形や左右の足の前後関係が非常にわかりづらい見た目になっているかと思います。

もちろんスーツの素材（光沢あり/なし）や、照明の条件によって見た目は変わると思いますが、今回その辺りはあまりこだわらずに作業していきたいと思います。

この服装と比較するために、暗すぎず明るすぎないタイトな服も用意してみました。

赤いですね。「暗すぎず明るすぎず」の条件に合ってないかもしれませんが、買いなおす余裕が無いのでこれを使っていきます。
黒い服と比べてみると、手の形も四肢の位置関係も比べ物にならないくらい分かりやすいかと思います。
色に関しては少し彩度が強すぎる気もしますが、背景との区別もできている色を選びました。（もう少し落ち着いた色の服をポチッたつもりだったのですが…）
年々醜くなっていく自分の体形にため息が出ますが、それは今回の検証とは関係ないのでわきに置いておきます。

最後にダボダボな服です。

ダボダボですね。

若い時は足の短さをごまかすためによく腰パンしていたものですが（今の人は腰パンって言うのかしら）、そういった体形が分かりづらくなるようなファッションはFlow Studio的にはNGな匂いがします。
ただなんとなくですが、この程度のダボダボさ加減だと四肢の角度から各パーツの関節位置や向きは認識してくれそうな気もします。

それではこの3種類の服装で同じ動きのモーションをとっていきましょう。

今回は以下のような、必殺技を想定した動きの動画を使います。

背景も特に気にせず撮影をしたのですが、黒い服装の動きを見てみると後ろのモニターの黒と重なって更にわかりづらそうな見た目になっていますね。

果たしてFlow Studioはうまく機能してくれるのでしょうか？

検証内容は動画にもまとめましたので、以下からご確認ください。

今回、Flow Studio側ではLive Action Easy、Animation/Video to 3D Sceneの二つのプロジェクトタイプで作業してみました。
Flow Studioの作業自体はシンプルなので今回は端折りますが、やり方が気になる方は前回のコラムや、過去のウェビナーを参考にしていただければと思います。

まずはLive Action Easyから書き出したMayaファイルを見てみたいと思います。
アニメーションを再生してみると、なんとなく映像通りにモーションが取れているようにも見えるのですが、よく見ると部分的におかしな点がありました。
以下の画像をご確認ください。

特に違和感を感じたのがこのタイミングの上腕の向きです。
実際の動きとしては、赤、黄色のキャラクターの向きが正しいのですが、黒い服でキャプチャしたキャラクターだけ反対方向に上腕が向いてしまっています。

どうしてこうなったのかはAIのみぞ知るところですが、もとの動画を見てみると何となく推測はできるかと思います。

もとの動画の同じフレームを見てみましょう。

こうして見てみると、右腕全体が黒くつぶれてしまっていて奥行き関係がわかりづらい見た目になってしまっているのが分かります。
おそらくはこれが原因で上のキャラクターのようなモーションになってしまったのかと推測できます。
Flow Studioで黒い服が推奨されないのは、こういったことが起こり得るからです。

ただ正直、個人的にはもっと動きが崩れると思っていたので、Flow Studio結構頑張ってくれたなと感じるところもあります。
しかも、この崩れた部分のモーションですが、Animation/Video to 3D Sceneで書き出した際には想定通りの向きに直っており、私が思っていた以上の成果をFlow Studioは上げてくれました。（詳しくは動画をご覧ください。）

ちなみにダボダボの服も一部手首が変に曲がってしまっていたくらいで、大部分は他のモーションと同じくらいの精度でとれていたように思います。
ただ、今回の動きに関してはダボダボな服でもそこまでモーションは崩れませんでしたが、ダボダボな服は動きによっては関節の曲がり方がうまく取得できない可能性がありますので、そういった意味で推奨されていません。
加えて、ダボダボな服は合成映像を作る際に余分なマスクを切ることになるので、キャラクター周辺の背景のボケが目立つリスクもあります。

Flow Studioは計算を始めた段階でクレジットが消費され、やり直しがきかない類のツールでもありますので、より正確なモーションを取得するためにも黒い服やダボダボな服は避けるのが無難でしょう。

また、今回のテーマとしては「服装」を取り上げましたが、もう少し広くアクターさんの「見た目」という意味では他にも推奨/非推奨されることがいくつかあります。

以下にまとめていくつか挙げさせていただきます。

・黒い服や暗すぎる色の服はやめたほうがいい
・服の色は中間色（彩度、明度は高すぎず低すぎず）で背景色と被らない色のほうがいい
・ダボダボな服よりタイトな服のほうがいい
・装飾品（アクセサリー、帽子、カバンなど）はないほうがいい
・眼鏡はかけないほうがいい
・ヒゲはないほうがいい
・過度なメイクは控えたほうがいい
・物を持つのは控えたほうがいい

私は普段、黒っぽいダボダボした服を着て、ヒゲを生やし眼鏡をかけた状態でFlow Studioを使っているので、かなり非推奨な使い方をしていますね。

いけませんね。

これからは黒以外でタイトな服も買うようにします。眼鏡は撮るときだけ外せるとして、ヒゲは…剃りたくないかもしれません…。

上記内容は推奨事項ということでもちろん強制事項ではないので、参考程度に見ていただきながら皆様も思い思いの格好で、素敵なFlow Studioライフを楽しんください！

私は今後もヒゲ面で楽しみたいと思います！
それではまた次回お会いしましょう！