「バーチャルライブ」はどうやって作る？急成長を果たす「Balus -バルス-」社の全て　

バーチャルアイドル黎明期直前に創業

ーーバルス社の創業は2017年10月。まだ3年しか経っていない若い企業なわけですが、創業当時はまだキズナアイが認知され始めたぐらいの時期で、バーチャルアイドルそのものの存在感がまだ薄かったですよね。それが今やリアルタレントに迫る人気ぶりになっているわけですが...。なぜその時期に創業されたのか、その理由は？

林範和（以下林）：バルスを立ち上げたのは、海外でライブを見る機会があって、その時に日本の音楽で、現地の人がすごく熱狂しているんですよ。それで「これってすごいな」と思ったんです。エンタメとスポーツは国境を越えると言いますが、本当にそのとおりだなと。

ーー言語を超えてみんなが一体になれる体験ですからね。

林：それでちょうどそのころ、『ゲームエンジンを使って、キャラクターをリアルタイムに動かす』ことができるようになったり、モーションキャプチャーの精度が上がってきたりと、技術的にもバーチャルライブが可能になってきた。また一方で、VRやARをリアルタイムで動かしていけば、場所の関係なくライブを楽しむことができるようになる未来が来ると思ったんです。日本でライブをやって、それを世界中の人に楽しんでもらおうというビジョンが出来た。それが創業のきっかけですね。

ーーそこでバルスがすごいのが、創業時にベンチャーキャピタルから一億円出資されたということなんですよ。すごい先見性だと思います。

林：それでVICONを買ってスタジオを作ることができました（笑）。そこからは1回目のVTuberバブルが2017年の年末から2018年の1月くらいに起こりまして。エンジニアの方が「やってみた」と題してVTuberとして配信し始めた頃です。だから2018年の3月くらいだと、音楽会社に行っても「VTuberって何ですか？」と聞かれるくらいの認知度の低さでした。

ーーまさに黎明期ですよね。バルスのスタッフたちはどうやって集めていかれたんですか？

林：そもそもの話をすると、バルスは、私とCGクリエイターの野澤さん、角川書房にいた萩原さん、SMEで楽曲プロデューサーをやっていた木戸さんの4人で始めたんです。私はエンタメ畑の出身じゃなくて、学生時代は音楽の勉強をして、さらにファイナンス（金融）も学びました。その経験から1億円の資本を集めて、今は音楽の経験が仕事に繋がっています。

ーー金融出身とはまた珍しい！そういう異能の集団が元になっているんですね。

林：だから創業時は実際に現場を回すメンバーがいなかったんです。その後、野澤さんが日本工学院で教えていた柳くんを誘って、入社してもらいました。現在は、CGが3人で、エンジニアが11人。映像クリエイターは5人います。

ーー今の社員さんが30名ということですから、かなりエンジニア・ドリブンな組織ですよね。

時代とともに形を変えていったXRライブイベント「TUBEOUT!」

ーーバルスが主催しているXRライブイベント「TUBEOUT!」についてお聞かせください。

林：「TUBEOUT！」は2018年から始めたライブイベントです。自社のタレントに加えて、外部のVTuberさんにゲストとして出演してもらって、歌唱を披露したり、企画モノをおこなったりしています。他にも自主企画の案件は定期的に実施していますが、一方で、他社様と「共催」というかたちでやらせていただくことも多いですね。

ーー必ずしも主催するわけではない、と。。

林：バルスはあくまで「プラットフォーマー」なんです。バーチャルでライブができる環境を提供していく。このシステムをより多くの人に使ってもらおうと始めたのが「SPWN Portal」というサービスです。「SPWN Portal」では、ライブ配信、ギフティング、物販、ファンクラブ、チケット販売、ARコンテンツ等の機能がワンストップで利用できます。

https://live.balus.co/

ーー観客は具体的にどういったことができるんでしょう？

林：投げ銭や、事前にデジタルの花輪を贈ってステージ上に飾ったり、ボタンを連打すると演出が出たり。あとはライブ中にアンケートを取ることもできます。それで観客に、「次、何をやってほしい？」みたいなこともアーティストが聞けるんですよ。スタジオにもモニターを用意して、パフォーマーが実際の会場の映像を見れるようになっているので、ファンの反応に即座に対応できるんです。

ーーそれはライブだからこそ出来ることですね。

林：あとは、事前にペンライトやTシャツを販売して当日までにお客さん届け たりもしています。そうすることによって、アーティストや他のファンと同じ空間を共有しているという一体感を得られ、より配信を楽しむことができるんです。オンライン配信では、そういう体験がすごく大事だと思っています。

同時に5人が出演可能、エンジニアは2人

Mayaで制作した、様々に表情を変えるステージ

ーーそれでは実際に、ライブがどうやって行われるのかをお伺いしたいです。

柳：自社スタジオでは、5人の演者さんが同時に舞台上に上がってパフォーマンスすることができます。演者さんにはモーションキャプチャーのスーツを着てもらって、あとは曲やトークに合わせて演出していくという流れです。

ーーライブの際のエンジニアは何人ですか？

柳：2人です。

ーーかなりミニマルですね！

柳：演出のエフェクトなどは事前に作ってあるので。ライブ本番僕らが出来ることは、タイミングに合わせてエフェクトを出したり、モーションキャプチャーがズレてしまうなどのトラブル対応ですね。背景なども、全て自社で作っているんです。

ーーステージまで用意して、あとはタレントさんに出ていただくっていう。ホントにリアルなライブと変わりませんね。リハーサルもやるんですか？

柳：はい。やはり内容が複雑なライブでは、事前にリハーサルを行います。ここでちょっと面白いのが、バーチャルの方が小さな変更でも瞬時に対応するのが難しいということなんです。普通のライブだったら、「このTシャツに着せ替えてください」と言われたらすぐできますよね。でもバーチャルだと、キャラクターの小物を仕込むのも時間がかかるので、修正に1週間かかってしまうこともあるんです。

ーーそれは盲点でした（笑）

林：CGだとステージを何回も使えるという良い面もありますが、細かいところが大変なんです。だから、すごく派手な演出を出すなど、リアルでお金がかかるところは比較的安くあがる。だけど、リアルでお金がかからないところは、逆に手間がかかるという（笑）。

ーー背景のステージは何のツールで作っていますか？

柳：Mayaです。去年やったライブでは、Mayaの MASHで作ったものもあります。
バーチャルなので、作ろうと思えば何でも結構自由に作れてしまうんですが、現実的に、スタジオのモーションキャプチャーのエリアの範囲が制限になるんです。ステージのデザインは演者さんのパフォーマンスのしやすさにも関わることなので、そこはかなり考慮して作っています。

ーー実際のパフォーマンスの際の流れとしては、モデルがMayaで、骨まで入れて、アニメーションはモーションキャプチャーする。それをMotionBuilderでリターゲティングをして、キャラに乗せていると。そこからUnityに持っていっているんですね。

柳：はい。今はオートデスク製品が全部使える「M&E Collection」のライセンスを使っているので、他社さんから3ds MaxなどMaya以外のデータが届いた時にもスムーズに対応できるので助かっています。

ーー半年に一度来るデータのためにソフトを買うというのも無茶な話ですからね（笑）。その点、「M&E Collection」だと全部使えるのでいいですね。

バルス流バーチャルライブの極意

ーーそれでは、実際のステージがどうやってできているのか教えていただけますか？

柳：これが実際のステージです。この、アルファベット別に分かれているところに、別々の映像が流れる仕組みになっているんです。

ーーそれは派手なビジュアルになりそうですね。これ、11個の映像が別々のモニタに出ていますよね？

柳：はい。ステージのデザインはディスプレイの見栄えにも関わってくるので、実際に映像がどう流れるかをイメージして作っています。あと、この赤い枠が実際キャラクターが動き回れるキャプチャーエリアです。

柳：ライティングに関してはある程度、テクスチャーを書き込んで作ってますね。実際にキャラクターのモデルを置いて、位置関係の調整もやっています。

ーーこんなに一画面で違う映像を流したら、重くなりませんか？

柳：映像は1つの映像でそれぞれのモニタに合うように作っているんですよ。なので実際には1本の映像が流れるだけになっているんです。

ーーライブって、1時間から2時間もあるじゃないですか。その間の演出を全部やるとなると、気が遠くなるほどのエフェクトが必要になりそうなんですが、そこはどうしていますか？

柳：映像を流すのは楽曲の演出中が多いんです。だから大体1曲分3～4分とかの映像を流しているんですが、イベントによっては、ループの映像にしたり、素材を使いまわせるようにするなどして色々工夫をしています。

ーーまた、実際のライブでは複数のタレントさんが出るわけですから、それに合わせて演出も変えるわけじゃないですか。

柳：そうですね。いろいろな会社さんが作られたモデルが来るので、設定の身長や等身を合わせるなどの調整もしています。

ーーカメラの動きもUnity上で？

柳：はい。ここに実際に演者さんに入っていただいて、キャラクターがパフォーマンスしたものを、リアルタイムでスイッチングしています。

ーー一つのライブで複数のステージを使うっていうこともあるんですか？

柳：去年の年末にTUBEOUT!のカウントダウンイベントを行ったんですが、出演者の方がすごく多かったんです。だからずっと同じステージだと面白くないな、と考えて、最終的に3階建てのステージを作りました。シーンを分けてしまうとパフォーマンスに影響が出るので、1本のアセットとして組んでいます。

柳：バーチャルライブだと、準備期間が短かいことも多いんですが、月に何本もライブをこなすために、アセットを使い回せるようにするということも考えながら作っています。例えばこの後ろで使っているトラスは、共通のパーツなんです。ライトのモデルもそうで。共通のプリセットになるように作っています。

ーーこれでリアルタイムで5体まで対応したら、本当に見ごたえのあるライブ映像になりますよね。

柳：はい。人数が多い分、本番では演者さん同士のめり込みなどが起こりやすいので、MotionBuilderのリターゲットパラメータを調整しています。

ーーMotionBuilderからUnityにリアルタイムでデータを流す際には、何のプラグインを使って流しているんですか？

柳：クレッセントさんが販売されているプラグインです。VICON以外の機材で撮ったモーションでもMotionBuilderを経由したら、同じように使えるので。

ーーちなみにMotionBuilderで行う作業には他になにかありますか？

柳：モーションだけを収録したい場合や、後でノイズを取るなど、モーションを直して使いたい場合に使っています。基本的なアニメーションレイヤーも使いますよ。それはライブではなくミュージックビデオなどの映像作品の場合ですね。キャラクタライズしてリターゲットして、モーションキャプチャーのフルでキーが打たれたデータの上から、レイヤーをもう一個作って、修正をしていくという使い方をしています。

ーーライブではなく、ミュージックビデオを作り込むときの違いって、どういうところですか？

柳：ライブもミュージックビデオも、フェイシャルは自動でリップシンクや目パチなどが付くようになっていて、同時にコントローラーで笑顔などの表情をつけています。ここまでは同じですが、ミュージックビデオでは、。リアルタイムで収録したモーションが破綻している部分があったりもするので、いったんMotionBuilderに戻って、修正した体のモーションを差し替えて使うこともありますね。

ーーそれで完成度を上げるっていうことですね。フェイシャルは、Unity上で割り当てているということですが、どんなコントローラーを？

柳：コンシューマーゲーム機のコントローラーです。それぞれのボタンに表情やモーションを割り当てているんです。ライブでも、表情を操作する方がいて、お客様の反応を見ながら操作しています。

ーーそれは驚きです（笑）。ところで東京・大阪・名古屋でライブをした時は、一体どうやったんですか？

柳：実際に現地にUnityの入ったPCを持っていってもらって、スタジオでキャプチャーしたモーションやフェイシャルのデータだけを、そのままネット回線で送りました。映像だと重くなってしまうので、現地でリアルタイムレンダリングしています

ーーUnityに出力したものを送るのではなくて、現地にUnityを置くんですね。

柳：各会場でスクリーンの大きさが違うので、会場ごとにカメラを作っておけるなどの利点もありました。

ーーバーチャルアイドルの全国ツアーは夢がありますね。

バルスで求められている人材

ーーいやー未来を見た気分でした。ところでバルスとしては、どういう人に入社してほしいと思っていますか？

林：「こういう表現が作りたい」とか、「こういう視覚効果があればお客さんが圧倒されるんじゃないか」とか、そういうクリエイティブをちゃんと考えて、作っていける人だと嬉しいですね。例えば演出を考える部分とCGアーティストって、ちょっと技能が違うじゃないですか。なので、バルスには演出映像を作るチームもいるし、CGじゃできないところをUnityチームでサポートしています。遠隔ライブであれば社内にサーバーサードエンジニアもいるので一緒に作っていく、ということができるんです。

ーー全ての人材が揃っているわけですからね。

林：自分たちだけで全て完結できるのがバルスの強みです。だから、「スピード感を持って新しい表現を作っていきたい」と思っている方が理想なんです。ここでちょっと言いたいのは、「ライブ」と「映像作品を作る」というのは表現の上でかなりの違いがあるということです。ライブって、いわば瞬間の体験なんですよね。だから、いわゆる映像作品制作とは、こだわるポイントが変わってくると思います。

ーー確かにライブと、あらかじめパッケージされた映像って違いますもんね。感じるポイントは。柳さんは実際に開発チームにおられてバルスという会社をどう見てらっしゃいますか？

柳：開発チームは、基本的に自由ですね（笑）。自由というか、自発的な人が多い。裁量の大きい仕事も多いので、やりがいもあります。技術的には、MayaとUnityの両方が使える人が理想です。僕もUnityはこの会社に入ってから覚えたんですよ。仕事は大変さもありますが（笑）、一緒に楽しく表現を作っていけるような、コンテンツが大好きな人が来てくれたら嬉しいですね。

林：今は、バーチャルライブがトータルで完結するようなアプリを開発しているんです。そのアプリが一つあれば、有料ライブの入場からグッズ購入、ライブ鑑賞、ユーザー間のコミュニケーションまで完結するというようなものですね。

ーーそれはまた新しい挑戦ですね。

林：会社としては、最終的には新しい技術を使うことで、価値を作っていくということが非常に重要だなと思っているんです。「表現」の部分では、「体験をつくる」ことが最も大切なので、「今までに誰も見たことないもの」をいかに作っていけるかが重要だと思っています。

ーーその「見たことがないもの」を一緒に作ってくれるにぜひ来て欲しいということですね。

林：はい。

ーーありがとうございました。