ARやVRはもはや未来の技術ではない。一方で、身近なものとも言い難く、非日常的な体験だと感じている人がほとんどだろう。川田十夢は、ARを誰もが使えるツールにし、ARだからこそできる身体的な体験を多くの人に提供したいと考えている。

コロナ禍で生まれた、誰もがどこででも楽しめる新たな舞台芸術のかたち

2020年、新型コロナウイルス感染症が世界中で猛威をふるうなか、さまざまな芸術文化は苦境に立たされた。各種公演や試合などは中止になり、長年身体に経験を積み重ねてきた表現者の多くも、活動継続を諦めなければならない状況に陥った。

そうしたなか、身体芸術の新たな表現の場を開拓すると共に、経験を宿した身体の価値を未来に伝えようという想いから『VIRTUAL NIPPON COLOSSEUM バーチャル身体の祭典』が、バリアフリーなオンライン劇場「THEATRE for ALL」を起点に始まった。

総合演出を務めるのはAR三兄弟の川田十夢。ファッションや音楽、アート、芸能など、さまざまな領域でARによる拡張現実をつくり上げ、デジタルデータが持つクリエイティブな可能性を社会に提示しつづけてきた。そんな川田だからこそ、ジャンルで区切ることなく、多様な表現者たちを集めた祭典をつくり出した。

第1弾ではアオイヤマダ／加勢鳥／男性ブランコ／前川楓／前田順康（鼓童）／西矢椛／村松卓矢（大駱駝艦）と、芸術・芸能・スポーツの垣根を越えた表現者たちを集め、彼らの身体とモーションのデータをアーカイブし、バーチャル空間でひとつのパフォーマンス作品をつくり上げた。

折しも国際的なスポーツと平和の祭典が日本で開かれようとしていたなか、分け隔てなく誰もが楽しむことができる「真の祭」も目指して完成した作品は、AR技術を活用したアプリ『社会実験』によって鑑賞者のいる場所に投影して楽しむことができるほか、日本語字幕・音声ガイド・手話通訳・多言語対応などを施したバリアフリーオンライン型劇場「THEATRE for ALL」で創作過程のドキュメンタリーやこれまでの動画作品が配信されている。

そして2023年2月には『VIRTUAL NIPPON BODIES 2023』が予定されている。公開に先立ち、同プロジェクトを通じて見えてきた可能性などについて、企画の発起人である川田十夢（総合演出・開発者）と金森香（プロデューサー）に話を聞いた。

川田十夢
（かわだ・とむ）1976年、熊本県生まれ。10年間のメーカー勤務で特許開発に従事したあと、やまだかつてない開発ユニット、AR三兄弟の長男として活動。新著『拡張現実的』（2020）、旧著『AR三兄弟の企画書』（2010）。『WIRED』巻末連載、J-WAVE『INNOVATION WORLD』、BSフジ『AR三兄弟の素晴らしきこの世界』、テクノコント。BTC（ブレインテックコンソーシアム）理事。公私共に長男。通りすがりの天才。その世界のスター。ニュー文化人。

金森 香
（かなもり・かお）プロデューサー。出版社リトルモアを経て、2001年、ファッションブランド「シアタープロダクツ」を設立し、2017年まで取締役。2010年、NPO法人DRIFTERS INTERNATIONALを設立し、芸術祭の企画運営・ファッションショー・出版企画などをプロデュースする。現在、株式会社precogの執行役員として、新規事業のバリアフリー型のオンライン劇場「THEATRE for ALL」『まるっとみんなで映画祭』などを担当。最近のプロデュース作品としては、True Colors FASHION『対話する衣服』（ここのがっこう・河合宏樹）、落合陽一総合演出『多様性を未来に放つ ダイバーシティ・ファッションショー』、AR三兄弟『バーチャル身体の祭典』などがある。

3Dデータの「料理の仕方」を提案したい

金森香（以下、金森）　プロジェクトの構想から約3年、作品づくりは2年目を迎えましたが、今改めて、『VIRTUAL NIPPON COLOSSEUM』のプロジェクトの意味を川田さんはどのように感じていらっしゃいますか？

川田十夢（以下、川田）　技術はこの2～3年だけ見てもかなり変化しています。たとえばプロンプトエンジニアリングと呼ばれる最新の技術を使えば、AIが3Dモデルまでつくってくれます。ただ、そういう最新の技術の前提はあっても、ポリゴン数を上げてつくり込むとなると学習材料が必要なんです。だから、身体の3Dモデルとモーションのデータを同時に取っているこのプロジェクトは、技術の変遷に左右されずに原材料として有効なものだと改めて感じています。

一方で、今年度挑戦しようとしているのが、データの使い方・売り方の提案です。昨年度も取ったデータの販売はしてみたんですけど、まだ3Dモデルのデータが一般には普及していないことを痛感したんですよ。魚屋にイルカが売られているみたいな状態。

金森　魚屋にイルカ!?

川田　たとえがよくないかもしれない（笑）。実際にイルカの切り身が売られている地域はあるらしいんですけど、でも、ほとんどの人はイルカが売られていても調理の仕方がわからないじゃないですか。そうしたら買わない。

3Dモデルも、「データを公にしていこう」という動きは、海外でも日本でもけっこうあるんですけど、公にされたところでどう使ったらいいかわからないと思うんですよね。だから僕らが「こういう使い方ができるんですよ」っていうパターンを示していこうと思ったんです。

ガジェットの進化だけでなく「見せ方」のアップデートを

金森　2月に行われるイベントのときにも、データの使い方や売り方の可能性について、ディスカッションをできればと思いますが、川田さんたちが今すでに取り組んでいる「使い方の例」もご紹介いただけますか？

川田　議論の起点になるようなプロトタイプをふたつつくっています。ひとつは、『標本ポスター』です。ARや3Dならではの標本や図鑑の見せ方を提案したいと思っています。

図鑑って、たとえばペンギンのページを見たら、ここが口で、ここが翼のフォルムをしたヒレで……とかって、名称や機能がフォルムと紐づいて見られますよね。でも印刷物の図鑑では、動き方はわからない。テキストで説明されていても、ペンギンを見たことがない人だったら、イメージし切れないと思います。それがARの図鑑だったら、ペンギンを見たことがない人でも、動きまでわかるようなものをつくれるわけです。

そういうふうに、図鑑の機能そのものをアップデートできるようなものを見せないと、ガジェットがいくら進化しても、次のインターフェースは育たないし、3Dのモデルやモーションのデータを取っていくことの意味も拡張していかないと思うんです。こうやって活用できるんだっていう一例として、今回の『標本ポスター』をつくっています。

金森　もうひとつはいかがでしょう？

川田　『経験トレーディングカード』をつくっています。これまで我々が記録してきた身体としての3Dモデルのデータと、経験としてのモーションのデータを、自由に、そして簡単に、組み合わせられるようなカードゲームです。

たとえば初年度、力士とバレリーナのそれぞれの身体と動きのデータを取ったんですけど、そのバレリーナの動きを力士の身体に宿してみたら、力士が軽やかに『白鳥の湖』を踊り出して、すごくユニークでおもしろかったんですよ。

今年度は、人形浄瑠璃の演目『義経千本桜』に出てくる「いがみの権太」の人形を、それを動かす黒衣と共に記録したのですが、「いがみの権太」の動きは人形浄瑠璃の世界（文楽の劇場）で見たときには、すごく自然で、まるで生きているように見えるぐらいなんです。ところが、その人形の動きのデータをそのまま人間に宿してみると、すごく変なんですよ。人間としてはあり得ない動きをしている。でもそうやって人間に宿してみることで、人形浄瑠璃の演出の妙とか、技術としてのデフォルメの幅みたいなものがわかってくるわけです。

今つくっている「経験トレーディングカード」では、同じように、身体のデータとモーションのデータを、好きなように選んで組み合わせて、その動きを見ることができます。同じ身体の中に、多様な経験を宿すことのおもしろさを、皆さんにも感じてもらえるんじゃないかと思っています。

金森　「経験トレーディングカード」は2023年2月11日（土）のイベントでは来場者、先着100名様に1枚づつプレゼントすることになりました！　『標本ポスター』とこの「経験トレーディングカード」のセットも、このイベントのみの限定販売が予定されています。

身体のAR化が拡張するものとは

金森　今、身体のデータからできることのおもしろさについて、ひとつお話しいただきましたが、今回のプロジェクトに限らず、身体のデータを記録しつづけてきた川田さんが感じる、その意義やおもしろさについて、ほかにも何かあれば教えていただけますか？

川田　以前『NO BORDER（※）』というプロジェクトで、車椅子YouTuberの寺田ユースケさんの3Dモデルをつくって、寺田さんのアバターに踊らせるということをしたのですが、それを見た寺田さんは勇気が湧いて、義足のチャレンジにつながった、と後日聞きました。ARであれVRであれ、自分の身体つきをしたものが動いた瞬間に、自分事になるっていうことがあると思っていて、それはひとつの拡張だなと思うんですよね。一方で、さっき話したカードゲームのように、自分の動きをまったく別のものに宿す楽しみもあって、そういう2軸の拡張があるんじゃないかなと、このプロジェクトをやりながら改めて思っています。

※最新3Dスキャナーで3Dモデルを作成し、観客自身のアバターが主役となり、ステージ上でダンスを踊る超新感覚エンタテインメント。土屋敏男が企画・総合演出、AR三兄弟が企画・技術開発を行った。

もうひとつは、昨年度も今年度も、地域に残っている祭りや民俗的な動きを作品に入れているんですね。今年度だと、「おわら風の盆」っていう富山市八尾地域の民謡行事と、「チャンココ」っていう五島列島の伝統的な念仏踊りです。そういうものの多くが、町が過疎化して、後継者が不足していて、ややもするとなくなってしまうかもしれないんですよ。でもそうしたもののモーションのデータを3Dとしてアーカイブしておけば、万が一継承が途切れてしまったとしても、再現性があると思うんです。それはおもしろい可能性だなと思っています。

金森　ちなみに今回のプロジェクトを通じて、さらにこんなことができるんじゃないかとか、挑戦してみたいと思ったことは何かありますか？

川田　あらゆるものをアップデートしたいですね。たとえば教科書。『いがみの権太』は鎌倉時代の（源）義経の系譜の話なんですけど、歴史の教科書で義経のことが説明されているページを開いたら、今回記録した『いがみの権太』のARがぽこっと立ち上がるとか。

金森　それは楽しそうですね！

川田　いろんなものに水平的に使えるようにしていけたらいいなと思います。日本だと3Dモデルは歴史とは縁遠いものだと、勝手に線引きをされてしまいやすいんですけど、そういう固さを取り払って、いろんなものを一緒くたにすることで生まれるものがあるんじゃないかと思っています。

伝統芸能から最新のお笑いまで、「列に入るな」はしない

金森　今回のプロジェクトでは、テクノロジーの面でのコンセプトに加えて、私たち「THEATRE for All」を起点に始まったプロジェクトでもあり、いかにしてバリアを取り除くか、誰しもに目を向けて排除しない、という点も大事にしていますよね。実際、家から外出しなくても日本に渡航しなくても、アプリからはお祭りやパフォーマーを間近で鑑賞できます。また、昨年度も今年度も、芸能・芸術・スポーツまで横断し、身体を軸に多ジャンルの方々に出演者として協力をしていただいてます。普段交わらないような異なる世界の方々を集めて、調和のあるひとつの「祭り」につくり上げるために、川田さんが大事にしていることはありますか？

川田　まさにこのプロジェクトを通じてやりたいことは、そこですよね。みんながそれぞれに一番やりたいことをやっていて、いろんな人がいろんなままに存在していて、でも、みんなが同じひとつの方向に歩いているっていうことを目指しています。「パレード」ですね。みんなが違うバラバラなことをやっていても、同じ方向に歩いているだけで、ひとつのまとまりがあるものになると思うんですよ。

そのときにひとつ大事なのは「列に入るな」とは言わないことです。どんな人か、どんな領域かは関係ない。伝統芸能だからありがたく保存するとかではなく、最新の芸能も同じように、くまなくデータ化していく。それをひとつづきの、ひとつの形を持った作品にすると、自ずと多様で調和のあるものになるんじゃないかと思います。

金森　今年度も、先ほど話にあった『いがみの権太』も収録していれば、小林幸子さんや芸人のヨネダ2000さんも収録していますよね。

川田　小林幸子さんとは、12～3年前に一度共演したことがあったんですけどね。今年で芸能生活59年なんですよね。もはや伝統芸能じゃないですか。今回は記録できる範囲の豪華な衣装をスキャンさせてもらったんですけど、同時に、彼女に宿っている声や振る舞いも記録しておきたいと思っています。

だから、民俗的な記録という意味では、ヨネダ2000さんみたいな最先端の芸人の動きもちゃんと残しておくことが、同じように意味があるんじゃないかと思っています。

積み木みたいに遊びながら創造する人を増やしたい

金森　線引きをせずにあらゆる人のデータを記録する、という今のお話もそうですし、収録したデータをオープンにしていくということもそうですが、川田さんはご自身の取り組みを、みんなに開いて、シェアすることを大事にされている印象があります。その姿勢はどういう想いから生まれているのでしょうか？

川田　少し前までは3Dモデルをつくるのに何百万円もかかったんですよ。それがどんどん安くなってきていて、もう少ししたら、スマートフォンで3Dモデルをつくれるぐらいにまでなるだろうと思います。そうなったときに、誰かがつくったものをおもしろがるだけじゃなくて、自分でつくって世の中に出すっていう楽しみも、持ってほしいんですよね。

金森　消費する側ではなく、創造する側に立ってほしいと。

川田　今は一部の力を持った人たちだけのもののようになってしまっていますが、絵の具や積み木で遊ぶように、誰もが楽しんで使ってほしいです。僕らはひとつの使い方のパターンを出していますが、これだけが正解でもないので。

金森　もっとARやVRの世界をおもしろくしたいからこそ、いろんな人に入ってきてもらいたいということですかね。

川田　最近は、なんでもかんでもAIがやってくれて、創造的なものも全部AIがやってくれるんじゃないかっていう極論も出てきていますからね。いやいや、人間がテクノロジーを駆使したら、こういうものも創造できるんだぞっていうことを、ちゃんと示していきたいです。

恐怖ではなくユーモアで伝える

金森　多くの人にテクノロジーが広がっていくことのおもしろさがある一方で、使い方によっては誰かを傷つけたり、倫理的な問題を生じ得る面もあるのではないかと思います。川田さん自身がテクノロジーを使う上で、これはやるけど、これはやらない、といった基準は何か持っていらっしゃいますか？

川田　僕、なんでもやっているようで、実はやっていないんですね。やらなかったことのひとつを挙げると、「震災の恐怖を、その場所で再体験できるようにしてくれ」っていうオファーですね。何度かあったんですけど、断りました。

金森　想像したらすごい鳥肌が立ちました……。

川田　それぐらい怖いことができてしまうテクノロジーなんですよ。削除できないぐらいの強い記憶が人の体に残ってしまっているのに、それを上塗りするようなことはテクノロジーでやるべきではないんです。はっきり言って、やる意味がない。

最近は恐怖で伝えようとするのがひとつの流れとしてある気がするんですけど、僕らはユーモアをもって、伝えるべきものを伝えたいと思っていますね。ウケるっていうことは、わかるっていうことなんです。人ってわからないものには笑わない。何か腑に落ちたときに人は笑うんです。

金森　川田さんがよく「爆笑を取りたい」って言っているのはそういう考えからなんですね。

川田　ただ目立ちたいわけではないんですよ（笑）。ウケたい。でも僕らのようにウケたいと思ってテクノロジーをやっている人はなかなかいないんですよね。クールに、かっこよく見せたい、というほうが強い。そうするとテクノロジーの怖いほう、尖っているほうに向かっていくと思うんです。僕は、テクノロジーと飲みに行きたい。

金森　テクノロジーが人格化された（笑）！

川田　AIの研究者は、ディープラーニングのためのデータをAIに渡すことを「学習材料を“食わせる”」ってよく言うんですけど、そんな家畜のように扱っていたら、僕はやがて恐ろしい目に遭うんじゃないかと思って、「どうぞ召し上がれ」って言っています（笑）。

金森　一方で、笑いだけを突き詰めて、純粋にエンタテインメントだけに向かうこともできますよね。そうではなくて、社会性×おもしろさに川田さんがこだわるのはなぜなのでしょうか？

川田　笑っちゃうっていうことに社会性がもう含まれていると思うんですよ。最近は、いつ戦争が起きてもおかしくないっていうことがよく言われていますけど、そういうことを、笑いを取ろうと思ったときに無視できないんですよね。社会情勢を踏まえて、重いものを軽くするのが笑いなので。僕らはこれからもそういうなかで、テクノロジー×社会×ユーモアを探求しつづけていくと思います。まずは2月11日開催のイベント、ぜひご注目ください。

『VIRTUAL NIPPON BODIES 2023』公開記念イベント

日時：2023年2月11日（土）14：00～20：30
会場：シビック・クリエイティブ・ベース東京［CCBT］