VTuberのご意見番・たまごまごの連載第6回のテーマは「手」。上半身に加えて手を映すか、映すならどう動かすべきか。「VTuberの手」問題は、表現者として何を伝えたいのかというテーマと密接に絡む大問題なのだ。
|
|
|
手は動かさなくてもいい？
2DのVTuberはたいてい、身体が動かない。画面に上半身、もっといえば肩から上くらいしか映っておらず腕がほぼ動かない。身体を上のほうに上げると手まで映るが、そうすると腕が硬直して動かないのが見えてしまい、かえって不自然になる。これは初めてVTuberを見る人には気になる部分かもしれない。
でも「それでいい」「それがいい」とVTuberの表現、受け取り手の見方が成長しつつある。「VTuberの手」問題は「動かなくていい」という方向と、「動かすよう努力中」のふたつに分かれて、表現手法が進化中だ。
VTuberの手が映らなくてもまったく気にならないタイプの配信がある。ゲーム実況だ。ゲーム画面を大きく見せるため、本人の姿が単純に小さくなることもあり、肩から上だけ映せば問題がない。リアクションでのおもしろさはこれでじゅうぶん伝わる。
雑談配信もほぼ手がなくても気にならない。こちらは自身の映像を大きく見せるものの、表情と上半身（手は見えないくらい）が見えれば感情は見えるし、コミュニケーションも成立する。
テレビ番組や実写YouTuberの場合、動画としておもしろくするために大きなリアクションを取ることが多い。となると腕や手の動きは重要になってくる。しかしリアルのゲーム実況者はゲームプレイ中は小さくしか映らない。またVTuberが流行する2017年より前のニコ生やツイキャスやTwitchでは、アイコン的な静止画でも成立していた。ゲーム画面しか映さない人も多数いる。
その流れで、上半身のみの2DVTuberにはほとんど違和感を感じない、という流れはVTuberが広まる前にすでに土壌として育っていた。「よく動く」「3Dである」などは表現の幅を広げるための技術だ。ただし立ち絵と感情が伝わる動きがあれば、VTuberエンタメでのキャラクターづけとおもしろさはじゅうぶんに成立する。「表現手法」として見た場合、案外そこまで最先端の技術じゃなくてもできることは多いのがVTuberのおもしろいところだ。
疑似表現いろいろ
とはいえ演出としての「手」があって使いこなす気力があるのであれば、使うに越したことはない。動かせない制約を超えるべく使われるようになったのが、擬似的に手を別の絵で被せる演出だ。動かない手の上に別の絵で手を上に伸ばしているレイヤーを重ねれば、それっぽく見える。これをVTuber配信用フリー素材としてアップしている人が多数おり、2Dのアバター利用者から重宝されている。
特に多いのが、ゲームコントローラーを握っている手の疑似レイヤーだ。これがあるだけで、画面を開いたとき記号としてわかりやすくなる。上記の使用例は直立のアバターの上半身に、コントローラーを持っている手のフリー素材を貼りつけたもの。当然自分の手ではないのだけれども、そこは自身のキャラクター性と記号性のトレードオフ。
その他にもペンライトや耳かきやパーティー帽子など、VTuberが「何をやっているか」の記号性を持たせるための素材が有志によって数多くアップされており、活用事例がどんどん増えている。上記の使用例はぼくのアバターに傘を持つフリー素材（レイヤー別）とフリーの背景画像素材を合わせたものだ。
2DVTuberは背景以外は特に奥行きがない。そのため画面に並べられたイラスト（フリー素材サイト「いらすとや」の絵がとてもよく使われている）や抽象的記号を、見ている側が立体的に頭の中で組み立ててイメージする力が問われる。複数人の2DVtuberが会話するとき正面を向いて横並びになるのは現実的にはあり得ない。けれども見ていると気にならず、不思議とすんなり会話に集中できるようになる。これは受け手がちゃんと記号を受け止め、脳内であたかも向かい合って話しているようにイメージで再構築できているからだ。
リアルさや生々しさよりも、フリー素材や「いらすとや」の画像を並べ感覚で伝える平面的な2DVtuberの構図。アングルの変化も質感描写もないためアニメ的でも写実的でもない。どちらかというと印象派絵画的な見せ方として、独自方向に表現が発展しつづけている。
|
|
|
動くLive2Dモデル
2Dモデルは顔をWEBカメラやスマホの顔認識を利用して、Live2Dのアニメーションで動かしている。特にiPhoneの顔認識はクオリティが高く、目や口の開閉、眉毛の角度などを繊細にトレースしてくれる。しかもだいたいのアプリは開いたらすぐ動くレベルで簡単。
基本的にLive2Dは手があまり動かせない。顔を動かすのとまったく別に、腕をモデリングしないといけないからだ。しかも手の動きは極端に複雑。かかる労力は半端ではない。
それでも挑むVtuberは現れつづけている。最近のアプリは指のトラッキングができるようになったというのもあり、古都Lazはフルートを吹く自身のLive2Dアニメーションを披露している。
腕を振り回していないのに振り回せる。風が吹いてないのに衣装が揺れる。リアルよりデフォルメされた動きも2Dなら可能。3D以上におもしろいことは今後どんどんできていきそうだ。
3Dモデルの手を動かす
Vtuberが3Dモデルを動かす方法は、2D同様WEBカメラやスマホの顔認識を使うか、VR機器を使うかのふた通りがある。
3Dモデルで上半身をWEBカメラで撮影する場合なら、手を動かすのは比較的簡単。Leap Motion（リープモーション）という1万数千円くらいの別の機械を使用すれば、指先までしっかりキャプチャできる。これを利用して顔＋手の3D動画収録をしている人は多い。
ただし配信となると、使いこなすのにコツがいる。先ほども書いたとおりゲーム実況や雑談だと、手はそこまで頻繁には動かさないからだ。
会話で手を動かすときというのは、往々にして無意識なことが多い。腕を組んだり、ろくろを回すポーズになったり、指を指したり、ガッツポーズをしたり、恥ずかしくて顔を覆ったり。手は感情の表現だ。ところがLeap Motionでの手の取り込みは、ある程度撮影していることを意識して動かさないと、トラッキングが外れてしまう。カメラなので角度も気にしないといけない。手をどの範囲でどう動かせばいいか話しながら考えないといけないとなると、独自の技術が必要になる。動画でも配信でも、3Dモデルで滑らかに手を動かしつつ流暢にしゃべっているVTuberがいたら、それはスーツアクターのごとき努力と訓練の末に入手した技術だ。
VR機器を利用して全身で動く場合、手はVR用コントローラーで動かすことになる。これはもうまったく別の技術が必要になるので今回は割愛するが、VTuberとして2D・3D共に身体を実際に動かしてみると、いわゆるアニメ的な動きがどのようにリアルな人間をデフォルメしているかの仕組みが理解できてかなりおもしろい。
実写の手の問題
料理やボードゲームなどは、実物を見てこそおもしろいもの。こればっかりは3Dではできない。そこで、実写の中に飛び出すVTuberも出てくる。ひとつはバーチャルボディをARを利用して現実世界に飛び出してしまう方法。もうひとつはキャラクターとして手も実写で出してしまう手法だ。
天開司は「債務者」VTuberだ。ちょっと影のある渋みと知識量の高いユニークなトーク、さまざまな企画の運営などで人気だ。彼はカード開封動画で、自身の手を出した。その際映ったのは、普段着ている服（アバターのもの）の袖と、軍手をはいている手。
キャラクター性を実写でも崩さないことで、彼の「手」は現実でも存在しているかのような演出がなされた。世界観をちゃんと保持しているため、映っているのが「天開司本人」であるという説得力があるし、同時に映像の見た目自体もおもしろいものになった。
一方で、開き直って普通の手を出しているVTuberもいる。VTuberという言葉は「こうあるべき」というものではない。あくまでも「自分が表現したいもののためにどう活用すれば便利か」という道具だ。そのまま手を映すか、キャラクターをより強調できる手法を用いるか、映さないようにするか……など手法の選択そのものが、本人のバーチャルの思想やキャラクター表現として現れてくる。
手の未来が少し見え始めている
手は実写の場合は情報のノイズにもなり得るし、重要な情報にもなる。VTuberはノイズをカットし、必要な情報だけをデフォルメして強調できるのが強みだ。「伝えたいものをより強調して伝える」ため、映すか映さないか、動くか動かないかの取捨選択が、VTuberは手軽にできるようになった。
もっともこう言えるようになったのはここ2、3年くらいのこと。3Dモデルを家で動かすのはかつては難しかったし、手も指のトラッキングは四苦八苦だった。個人でも簡単に全身を動かしたり指を動かしたりと、トラッキング技術は急激に進歩中だ。
今すぐにでも手を動かしたい、でも難しい、と多くの人が技術を求めている分野もある。楽器演奏だ。機械処理と音と回線のラグや、精度の問題でなかなか指が合わず、タイミングがズレやすい鬼門の技術。
しかし開発者の間では近年、ギターやドラム演奏を3Dで行えるようになった。個人でもピアノを弾けるVTuberが出てきた。こうなればサックスやバイオリンが弾けるようになるのも時間の問題だろう。オンラインバーチャルセッションやフルモーションライブが、個人でも手軽にできるようになる未来が少し見え始めている。
手の表現は進化の真っ只中だけれども、手が動かないトークVTuberが消えることもないだろう。必要なのは何をやってもいいという表現の幅の広さと、それを受け止められる視聴者の想像力だ。
|
|
|
Twitterをフォローする
