トレンド&テクノロジー / 次世代メディアとM&E
第17回:リアリティキャプチャー編

2014.01.20

  • ゲーム
  • 中級者
  • 映画・TV

Kinectやばいです

前回の記事からだいぶ開いてしまいました。その間次世代機であるPlayStation4やXbox oneが発表されました。(米国では出荷開始)やはり予想通りどちらも強力なグラフィックスとCPU、高速メモリー等を備えて出てきたわけですが、私が個人的に興味を持って見たのがこちらのビデオです。



Xbox oneの発表と同日に公開されたWiredが提供しているムービーですが、Kinectがリアルタイムでボタンの様な細かいものまで感知することや、自動で生成されるボーンに対し、2Dの挙動だけでなく、軸方向での回転の検知、物理モデルの適用、皮膚の下を流れる血流から心拍数を計測、そして個人の特定と表情の検出まですべてリアルタイムで実行しているように見えます。実際の製品版でデモしているようなことが全てできるかどうかはわかりませんが、非常に面白いデバイスだと思います。

個人的にはこのシステムをモーションキャプチャーに使用し、サンプルを大量にとってゲームに適用すれば実際にプレイしている人の動きをかなりの精度で収束させ、ゲーム内のキャラクターにリアルタイムで適用することができると思います。Oculus Riftと組み合わせればほぼ完璧ですね。いずれにせよ現実世界のバーチャルの世界に取り込むことは今までとは違った世界を作り出してくれることになります。




リアリティキャプチャーに関して

さて、それではリアリティキャプチャーの話に移ってきたいと思います。なぜ前章でKinectの話をさせてもらったかというと、リアリティキャプチャーは現実世界の情報を取り込むことの総称だからです。
Kinectの様に世界をビデオや深度情報として収録することや、Viconのように赤外線を使用したモーションキャプチャーであったり、光計測、弊社が進めているフォトグラメトリックだっりとデバイスによって手法は様々です。



ただ、一般的に言ってリアリティキャプチャーの第一人者と言えば、Image Based Lightingで有名なPaul Debevec氏だと思います。彼が設計したLight Stageはそれまでの人間のCGモデルのありようを変えたと思います。また、昨年のGDCではActivision社と組んで驚異的なリアルタイムデモを実現しています。
http://gl.ict.usc.edu/Research/DigitalIra/RTL_SIG2013_30fps_1280x720.mp4

彼が設計した全天球型のLight Stageは様々な点から光を照射し、人の反射特性を計測するものです。光は皮膚に衝突した際に単純に反射しているわけではなく、皮膚内部を散乱、減衰、拡散して反射光を返します。ちなみに我々人間は対象物の色を見ているわけではなく、光が物体に当たり、反射した光を見ています。反射光を計測することでフォトリアルな表現を得ることができます。ちなみに下記は弊社スタッフをPaul Debevec氏のLight Stageで計測した時のものです。



生成されたジオメトリーデータ



生成されたマップ情報


レンダリング画像


実は昨年のAutodesk University JapanではこのPaul Devebec氏を招聘する方向で進んでいたのですが、最終的にスケジュールが合わず見送りました。また機会があればトライしてみたいと思っています。


オートデスク流リアリティキャプチャー

さて、そんなリアリティキャプチャーですが、弊社では6年ほどかけて誰もが使用できるテクノロジーとして準備を進めてきました。3Dスキャンそのものはかなり前から存在していましたが、価格が非常に高かったり、キャプチャーした後の修正が大変だったり、データ量そのものがハンドリングできないほど大きいといった問題が存在していました。 実は私自身、20年近く前に某キャラクターを3DCGで映像化したことがあります。(勿論当時著作者の許諾を取っています) その時Softimage|3Dのテクノロジーデモという意味合いから画像トラッキングによるフェイシャルアニメーションや(2Dトラックしたものを3DのNullデータに変換)磁気式モーションキャプチャーによるリアルタイムでのディレクション、そしてモデリングにはレーザースキャンを使用し高密度なジオメトリーを生成しました。この時のモデリングの修正作業が鬼のように大変だったのを覚えています。
話が横道にそれました。いずれにせよ計測そのものは以前から存在したわけですが、使えるデータにするまでの作業量は大変なものだったと思います。
そこで弊社が出したRecapは簡単に、そして実際にデータが使える形まで持ってくることができるという意味で革新的だと思います。
まずは下記の動画をご覧ください。
クラウド上でリアリティキャプチャーが実現されているのがわかると思います。



では次回以降で具体的に話していきます。お楽しみに。


著者

門口 洋一郎

門口 洋一郎

オートデスク株式会社
技術営業本部
M&Eマネージャー

製品購入に関するお問い合わせ
オートデスク メディア&エンターテインメント 製品のご購入に関してご連絡を希望される場合は、こちらからお問い合わせください。