麻倉怜士の大閻魔帳

第6回

究極のテレビジョンは能力の放送へ。暦本純一氏が語る放送の未来

ソニーコンピュータサイエンス研究所・暦本純一氏。東京大学情報学環でも教鞭を執っている、当代随一のUI研究者

 「放送の未来」と聞いて、何を思い浮かべるだろうか。多くの場合、8Kを超える超高精細映像、あるいは立体映像・音声、IoTとの融合…… 5月に開かれたNHK技研公開でも、これらに関連する技術が多数展示されたが、麻倉怜士氏は「NHKとしての語りが少ない」と不満気だった。

 そんなNHK技研公開において、ソニーコンピュータサイエンス研究所・暦本純一氏が、IoTのさらに先を行く「能力のインターネット化」というテーマを掲げた基調講演を行なった。窓の景色にPhotoshopと見紛う修正を施したり、自分の能力や体験を他人に憑依させるといったことを、UI(ユーザーインターフェイス)とAIを駆使して実現するという。SFの具現化と放送の未来の可能性をナビゲートする。

IoTからIoAへ

麻倉:今回のテーマは「未来の放送の可能性」です。最新の放送技術展示というと、日本では毎年5月に開かれるNHK技研公開が有名ですね。昨年まで主役に立っていた“HDR”や“BT.2020”などの8K関連技術は既に技術開発フェーズから実用化フェーズに入っており、今年の技研公開は120Hzが主役のように出てきました。そのほかAIによるモノクロ映像の自動着色技術、SNS自動解析によるニュースのネタ集め、などの提案も見られました。

 ですが、小粒というか軸が細く迷いも感じられました。今まではNHKが先進的でしたが、今はユーザーが追いついています。近年盛んに喧宣されている“ネットとの融合”なども、もはや陳腐化していると言ってよいでしょう。こういった“誰でも言っていること”は他の誰かに任せるべきで、私としては「こんな世界があったのか!」という夢を語って欲しいのです。行き先がヒューマンアイではつまらない、ヒューマンアイを超えたところに目標を設定して欲しい。そんな風に感じました。

――確かに今年の技研公開は、スペックアップ・改良の提案は様々でしたが、それらが“全く新しい体験の創造”にはつながっていなかった様に感じます。

麻倉:ハード的・フォーマット的革新は一息ついたわけですが、次に放送はどこへ向かうのでしょうか。そんなことを思いながら取材をしていたのですが、技研公開初日の5月24日に衝撃的な講演を聴講したのでこれをお伝えしたいと思います。登壇者は東大情報学環・ソニーコンピュータサイエンス研究所副所長の暦本純一さん。講演名「Internet of abilities: 実現への挑戦 ~放送の未来~」と題したもので、“IoT”のさらに先を行く「能力のインターネット化」という、なんだかよく解らないが非常に興味をそそられる議題です。その内容は「構想力に欠ける」展示の数々に対して、構想力がありすぎて、常識の枠を飛び出ているものでした。

暦本氏の主張は「“IoT(モノのインターネット化)”から“IoA(能力のインターネット化)”へ」というもの。IoAとは?

麻倉:暦本さんはUIの研究者として知られています。スマホやタブレットの基本操作になっている“ピンチ”、“スワイプ”といったマルチタッチ技術の発明家で、なんと20年以上も前に特許を取っています。UIの大元は米国ゼロックスのパロアルト研究所で、マウスやノートブックなどの前身などが開発されました。暦本さんはこれらに刺激を受け、インターフェイス研究の道を歩むことになったそうです。私はソニーのネットワーク戦略に関して2000年に「ソニーの野望」という本を上梓しましたが、この時に暦本さんにも取材していました。当時から「メガネを掛けると現実の視野に情報を加えることができます」なんて言っていましたが、これは昨今、盛んに取り上げられているAR(拡張現実)の原点でした。

――90年代はHMD(ヘッドマウントディスプレイ)の研究が盛んで、ソニーでも1996年から「グラストロン」というHMDを販売していました。あれは外部視野を完全にシャットアウトする、いわばVRタイプのHMDでしたが。技術の陳腐化が速い現代において、20年も先を行っているというのはとんでもない先見の明です。

麻倉:暦本さんが所属するソニーコンピュータサイエンス研究所というのは突き抜けた天才集団で、ここから事業部にやってきて常識を飛び越えた製品の開発で活躍する人もちらほら居ます。暦本さんは2000年当時ですでに天井から情報をプロジェクションする、疑似ARなんかをやっていました。ここ最近のIFAでは、ソニーブースで天井からの投影で図面を出すといった展示をしていますが、昨年なんかに見て「おぉスゴい!」と言っていたものを、20年近くも前にやっていたんです。

2016年のIFA・ソニーブースにて。天井のプロジェクターから図面を投影し、建築モックアップに情報を加えるというシステムのデモ。プロジェクションマッピングの一種とも取ることができるが、暦本さんは同じコンセプトの発想を90年代ですでに提唱していたそうだ

 そのほかソニーモバイルが最近出した耳掛けスピーカーも、暦本さんは結構昔から言っていたものです。これはいわば“耳のAR”。「ライブ解説に良いデバイスはどんなものか」というのが原点で、歌舞伎鑑賞などのリアルタイム解説などに使えるでしょう。これらは暦本さんの「Programable Reality」、「環境は人間の拡張である」という考え方に基づくもので、2016年にグッドデザイン賞を取った「Squama(スクアマ)」もそのひとつでしょう。

マーシャル・マクルーハンによる「環境は人間の拡張である」。暦本氏の考え方の根幹をなすもの

麻倉:スクアマは電圧をかけて部分的に遮光する液晶の窓で、窓の両側から見えるものを部分的に遮り「自分は窓の外を見たいけれど、外から自分は見られたくない」という環境を作ることができます。オープンネスとプライバシーの両立できる、こうしたマスキング技術を「リアルワールドピクサライゼーション」というそうです。スクアマは単純なマスキングに加えて、窓の外に目障りな看板があるようなところで、液晶によって景色を上書きして看板を消す、なんていうこともできるんです。

暦本氏による発明のひとつ、液晶窓「Squama(スクアマ)」。ガラス面に液晶を仕込み、実景に情報を上乗せしたり、見え方を一部修正したりできるという

――Photoshopによる画像編集を現実世界でやってのける、と?

麻倉:端的に言うと、そういうことですね。あるいはテーブルに花があって、あまり直射日光を当てたくないと思ったら、花瓶の場所だけ影をつくることもできます。温室全面で導入すると、室内のエリアごとに環境を変えることもできるといいます。

例えばこのような景色、窓の右側に目障りなサインボードがあるが……
スクアマは実景を読み取って窓の景色を修正する。まるでPhotoshopによる画像修正を、現実の窓でやってのける

――窓の奥を見られたくないとしても、普通の発想だとすだれかマジックミラー止まりですよね。でも暦本さんの視点は、窓の機能が人間の外までいっています。

麻倉:確かに、普通は窓と映像をかけ合わせると、せいぜいが窓にテレビを映すというくらいでしょう。スクアマ自体は放送とは関係ありませんが、こういう発想が実に面白い。

麻倉:暦本さんは「テレビの周りのテレビ」という、さらに凄まじい展望も持っています。これはテレビ映像の外側を合成・拡張するというもので、フレームの中に押し込まれているテレビの「周りの風景を作りたい」という発想です。似たようなものとして、フィリップスが欧米でテレビ映像の外周と同色の光をテレビ背面に当てて拡張感を演出する「アンビライト」というテレビを出していますね。

フィリップスの「アンビライト」シリーズは、フレームの裏側に配置したLEDで浮遊感を演出しようというコンセプトのテレビ。画像は2017年IFAのフィリップスブースにて撮影したもの

 対して暦本さんは、もう少し科学的なアプローチを取っています。人間の視野ははっきりとした中心に対して、周辺がぼやけるのですが、これを使って中心の延長として、フレーム外の“ぼんやりした映像”を創ろうというのです。発想の説明において、暦本さんはドラえもんのひみつ道具「つづきスプレー」を例に挙げ、これと同じようなものをテクノロジーで実現するといいます。多くの発明や発想の転換には、SFなどの創作物に大きく触発されていますからね。

 AIの設計理論には、考えや作ったものに対する反論を組み込み、互いに切磋琢磨して高め合う「Generative adversarial neural network(敵対的生成ニューラルネットワーク)」という考え方があるそうです。暦本さんが言うには、これを利用すると“万能画像変換ツール”ができる、と。技研公開ではモノクロ映像をカラー化するAIが展示されていましたが、暦本さんは映像そのものを生成しようとしています。暦本さんと同じくソニー出身の天才、近藤哲二郎さんがかつてソニー時代に似たことをやっていました。

たとえばこのような画像で「フレーム外の景色はどうだろう?」と感じると……
ニューラルネットワークで周辺視野のぼやけた景色を推測し、生成するという。画像生成と判別に別のAIを使うことで、精度を更に高くできると暦本氏は主張している

――やはり想像は研究の大きな源泉になっているのですね。鉄腕アトムしかりドラえもんしかり、日本のマンガやアニメで描かれた未来から、数多くの発想が実用化されています。敵対的生成ニューラルネットワークといえば、個人的には「新世紀エヴァンゲリオン」に登場する3台のスーパーコンピューター「MAGI(マギ)システム」を思い起こします。異なる思想を持つAIが3台で合議を取って精度を高めるという発想ですが、現実ではコンピュータ将棋などでも合議制が取られているようです。

麻倉:画像生成技術を高めれば、180度VRカメラなどにも応用できそうです。180度の映像から360度を生成すればいいという発想です。こうしたインターフェイス技術を基に、暦本さんは「AI vs. 人間という発想は古い。これからはAIによる人間拡張『Human Augmentation』の時代になる」と主張しています。人間の身体・実体を離れて、能力を共有するというもので、要するにある人の経験や能力を他の人に移すということです。自分が幽体離脱したように自分自身を客観視して能力を分配する、その能力を伝達するのが通信・放送の役割になるというのですね。

――それが講演のテーマ「IoTからIoA(Internet of Ability:能力のネット化)」ということですね。

IoTは機械・ロボットの機能を拡張してきたが、そこにAIを組み込めば生身の人間の機能を大きく拡張できる、それが暦本氏の唱える“IoA”だ

究極のテレビジョンは能力の放送

麻倉:作家ウィリアム・ギブスンのSF作品「ニューロマンサー」で、他の人間やロボットに憑依する“Jack in(ジャックイン)”という能力が提唱されています。“電脳世界に没入する”という意味で、例えば人間間のジャックインでは“ある人間が見ているものを他人が見る”という行動として描かれています。これはテレビに近い考え方、というよりもその究極拡張形です。これに極めて近い行動が、「2001年宇宙の旅」「未知との遭遇」「ブレードランナー」などに参加したダグラス・トランブル監督の「Brainstorm」(1983)という映画で描かれています。頭にウェブカム6台の360度カメラを付け、外部から全方位視野にジャックイン。これは他人に成り代わる視点をつくるという行動で、スタビライゼーションで自然な視点へ変換し、1人のアクションで3人が視点を共有するというものです。

4Kディスプレイを6枚使ったJack in(ジャックイン)の一例。ウェブカムを通して、他人の視覚を遠隔で共有する。ある意味で“Télé Vision(テレ・ビジョン:遠視機)”の究極形態と言えるだろう

 反対に、幽体離脱のように自分のことを客観的に眺めることを「Jack out(ジャックアウト)」と呼びます。スポーツ選手などはランニングやスイミングのフォームをカメラで捉え、リアルタイムでフォーム修正するトレーニングを実施していますが、これも一種のジャックアウトです。客観視の手段としては、近年発達著しいドローンが活用できるでしょう。能楽を大成した世阿弥の考え方に、自己中心の主観的視点「我見」と、幽体離脱のように離れた位置から演技を見つめる客観視点「離見」がありますが、ジャックアウトはまさに離見そのものです。暦本さんはこの思想を引用し「これからは離見が重要になる」と主張していました。

一部のスポーツ選手は、トレーニングにドローンなどを活用し、自身の運動を第三者視点で観察してフォーム改善に努めているという。これはJack out(ジャックアウト)の一種と見ることができる

 こうしたジャックイン・ジャックアウトの考え方は、一部ですでに実用化されています。アメリカの学会ではすでにロボットでの遠隔会議参加が始まっており、こうすることで人間が実際に会議へ足を運ぶよりも、参加費が安くつくそうです。

米国ではカメラとモニターを搭載したロボットで学会に参加するという、SFチックな試みがすでに始まっているという

 あるいは医療の世界では、電子顕微鏡と超精細ロボットアームをVRで操作する遠隔手術という構想が出ています。これも一種の仮想テレポーテーションと言えそうですね。はたまたロボットでお買い物をするとか、ライドシェアの“Uber”をさらに業種拡大した、“人間Uber”とも言うべき時間制就業実験も考えられるでしょう。フィジカル(身体的)な人間は外に出ず、能力だけを移動・使用する。そういうような能力・体験を放送しようというのが、暦本さんが描く世界なのです。

未来の放送は、このような能力・体験そのものを送受信することが大きな役割になる

 これまでの放送は“誰かが作ったものを届ける”ことに終始していましたが、暦本さんの主張は言うなれば“自分自身の放送”です。英語にすると「Broadcast yourself」、ですからこの思想は“究極のYouTube”と言ったところでしょうか。“能力の放送”という、斬新な主張がとても鮮烈に感じました。技研公開の展示とはちょっと次元が違いすぎますが、こういう凄まじい発想の方が誰も見たことのない未来の夢を語っているようで、ずっとずっとワクワクしましたね。

麻倉怜士

オーディオ・ビジュアル評論家/津田塾大学・早稲田大学エクステンションセンター講師(音楽)/UAレコード副代表

天野透