ロボティクス技術によって多くのWell-beingに貢献することを目指し、オープンラボとして活動するパナソニックの「Aug Lab」。研究分野の領域を超えて、あらゆる可能性のAugmentation（自己拡張）を確立するテクノロジー研究には、社外から迎える共同研究パートナーのアイディアが生かされている。
より創発的な世界の実現を提案してくれたのは、東京大学でメディアアートに取り組む筧康明研究室、xlab。手話を「視覚身体言語」と位置付けて、立場を超えて相互的なコミュニケーションの実装に取り組む同研究室の筧康明さんと和田夏実さんにお話をうかがった。静寂に感じる世界も、ある人にとっては騒がしいカオスかもしれないことを知ろう。
インタビュー：西村勇哉（NPO法人ミラツク代表）
西村さん：今日の時点ではまだ共同研究の途中という段階ですが、筧先生のこれまでの論文作品などを拝見するとAug Labとの関連性を感じるものの、だからこそ、どんな可能性をAug Labに感じられたのか気になりました。今回、一般公募に応募することを決められた背景からお聞かせいただけますか。
筧さん：僕らの研究室はインタラクティブメディアを幅広く研究対象としてきました。実世界の人の行為やコミュニケーション、表現などを情報メディアによって支援、あるいは拡張できるかどうかに取り組んできた基盤があります。
2010年代は素材そのものを制御するようなデジタルファブリケーションやソフトロボットなど、かなり物理的なデバイスを作ることをしてきたんですが、今またもう一度、人と向き合うような研究テーマを組み立てられないかと考えていたこともAug Labに応募したひとつの理由です。
物理的で直接的に人が触れたり関われるようなものへの関心に変わりはないのですが、より人間側に還元していくような取り組みをやっていきたいと思っています。また、これまでも共同研究やコラボレーションなどを重ねてきて、特に新しいテーマの立ち上げ時においてはいろんな知見をもった方と一緒に考えた方が広がっていくことを感じています。Aug Labは文字通り、何かを拡張するためのラボだと思って、一緒に取り組めたらきっと面白い化学反応が起こるんじゃないかと思いました。
（筧康明さん（左）と和田夏実さん（右））
「人」に近づけていくテクノロジー
西村さん：これまで取り組まれていた、デバイスとかコンピューティングに対するコミュニケーションから、もう少し人間へのコミュニケーションがテーマの1つになってきた、ということなんですね。
筧さん：元々関心があったことでもあるんです。2000年代〜2010代初頭ぐらいまでは、人が何かを描いたり創造することをコンピュータによっていかに向上できるか、あるいは、人がもっと発言したくなるためのテクノロジーはどんな形が望ましいかなどを考えてきました。近年取り組んできたことを踏まえて、もう一度根底にあった興味に向き合っているとも言えます。
西村さん：そういえば以前の筧先生の研究で、人が触りたくなったり割りたくなるシャボン玉に関する研究報告書を読みました。膨らんだシャボン玉をパンッ！と割ることが入力インターフェースになっていましたね。
筧さん：なんでそんなことをしたかと言うと、あまりにもデジタルテクノロジーが記号的で言語的なコミュニケーションのフレームに収まっている感覚があったからです。そこで、身の回りで多様にある触感や素材をそのままコンピュータと接続することを考えました。バーチャルな何かを再現するのではなく、そこにあるものをそのまま使えるような技術を作りたいな、と思ったんです。
しかしシャボン玉は形も色も変わるし、見てる人の情緒に影響力もあるのでとても魅力的なのですが、実装はすごく大変でしたね。おそらく僕らが取り組んだものの中で一番大変だったかもしれません。
西村さん：だからこそ本当にやりたかったことが詰まっているようにも思いました。制御できないものだからこそ、いろんな可能性が現れるという制御、といったところでしょうか。では和田さんは、どんな経緯で筧先生の研究室に参加されているんですか。
和田さん：私はSFC（慶應義塾大学）にいた時から先生の研究室にお世話になっていました。一番最初に参加した年に「HABILITATE」というテーマで展示をされていたんです。先生の文章の中に「リハビリテーションの『リ』を取る」というのがありました。「リ」はマイナスからゼロに近付けていくアプローチだが、それよりもゼロから更に人間を拡張していくような技術のあり方ができないだろうか、といったことが研究の説明に書いてあったんです。それを見た時に、私がしたいことはこういうことだと思いました。そこで2014年に研究室に参加した後、途中で社会人生活を経てから2021年に博士課程として入学して今に至ります。
西村さん：なぜ博士課程に戻ろうと思われたんですか？
和田さん：Aug Labさんとご一緒している研究もそうなんですが、人間の体の動きや腕や顔、手の細かな動きも含めた身体データを扱いたいとずっと思っていたんです。2010年頃、筧研にいた際はずっとカメラに苦戦していました。手指や体の動きをセンシングする時に、費用面や技術的な課題もあったため、研究をしたいがどうしようと思っていたんです。
2021年に戻るタイミングはちょうど、その時取り組んでいたプロジェクトが対外的にも完了して、技術的な素養も整ってきた実感もあり、ずっと考えていた自分の命題に取り組みたいと思って博士課程に入りました。
視覚身体言語から学べることをAug Labで形に
西村さん：ここで改めて、この共同研究におけるこれからの構想についてお聞かせいただけますか。例えばどんなことをこの共同研究での最初のゴールにされているのでしょうか。
筧さん：2014年頃から僕らが取り組んできたプロジェクトがあるので、和田さんから紹介してもらえると良いかな。
和田さん：そうですね。先生の研究室で、作品というかプロトタイプのようなものをずっと作り続けています。
まず2014年に筧研に入った時に制作したのが「Signed」でした。これは手話の動きをすると、意味が文字となって鏡に映し出され、イントネーションをもとに文字が変形するものです。続いて制作した「Visual Creole」は、手話の動きにARのような文字やイラストによる情報を重ねるプラットフォームです。手話はそれ自体がすごく映像的な言語なので、そこに図像的な翻訳方法を重ねるとどうなるのか、というプロジェクトでした。
（Visual Creole）
和田さん：それから2020年には「An image of …」という実験の映像作品を制作しました。リング状の前に立ち、センサーの前で手で表してもらいます。すると手の動きによって、飛行機だったり雨だったり雲だったりが、動きに追従していくように映し出されます。例えば雲はその人が表した雲の形、飛行機はその人の手の動き方、雨は手で表したスピードに応じて雨が降る、というような、その人がイメージした心象世界が再現されるように、スクリーン上に立ち現れる仕様です。
（An image of …）(動画：https://youtu.be/ZOg9j1yMcaE)
実はこれ、視覚的な創造力について研究したい、と最初のプレゼンテーションとして、Aug Labさんとの最初のディスカッションにお持ちして、その時、「共在感覚」というキーワードをいただきました。
筧さん：ちょうどあの時、コロナ禍によって僕らの日常がかなりリモートや遠隔になったこともあって、むしろ視覚身体言語を最大限に活かす、あるいはそういう場をつくるのはどうだろうか、といったアイディアもありました。
2年ぐらい前からZoomなど、正面から向き合う形で話をせざるを得ない身体関係を培ってきましたが、ジェスチャーを効果的に使えているのかというと、実はあんまり効果的に使えているとは言えないと思うんです。使えている人もいるけど、それはもしかしたら環境によってうまく使えるような状況になっているのではないだろうか、と考えました。
手話話者でもある和田さんを含めて、視覚表現によってとても豊かに話して、コミュニケーションを展開される方々は確実にいます。それはやはり色んな工夫をしながら、視覚的な表現をコミュニケーションに活かしているんですね。手話を含めた身体言語を話される方々が、どのようにこの遠隔のコミュニケーションを活用して乗り越えているのか。僕らもそこに学ぶことがあるはずだ、というのが1つの視点です。
またそれを学んで、コミュニケーション環境をより一般化していきたいとも思いました。そこで、映像メディアをまとうようにコミュニケーションする状況におき、もっと僕らは体を動かしたくなる、あるいは、体から表現したくなるような映像効果を作れることが望ましいと思いました。
もうひとつ、インタラクションの機能や表現がどのように設計可能だろうか、ということも考えています。インクルーシブな観点から今の状況を捉えることと、この状況を話し言葉だけではなく身体表現の観点からリデザインできないか。今はまさに試行錯誤しているというところです。
西村さん：この共同研究に応募しようと先に考えられたのは筧さんですか？
和田さん：そうですね。先生から、素敵な応募がある、と言われたので、じゃあ私が出します、と言ってお送りしました。
筧さん：Aug Labを知った時に和田さんとのテーマが思い浮かんだんです。多分デザインの文脈だけでやろうとしても限界があるし、テクノロジーの文脈だけでやろうとしても限界がある。なので技術に卓越した方と、ちょっと自由奔放に考える和田さんのデザインの文脈、そこにインクルーシブデザインのスペシャリストも一緒にコラボレーションしたら、僕らだけじゃ思いつかないようなことに飛躍するんじゃないだろうか、と思いました。
あとパナソニックにはデザインの部署の方もいらっしゃるので、学際的というか分野融合的なコラボレーションや議論ができることも期待しています。きっと凄い画像処理の技術もあるだろうし、ロボティックスの技術もあるはずなので、手話とか障害とかインクルーシブな発想と組み合わせると、どんなことが可能になるだろうか、と考えています。
西村さん：和田さん自身も、自分の研究したいテーマにパートナーの必要性を感じられていたんですか。
和田さん：博士課程に戻るまでの期間中、ろうの方々と一緒に、手話を使ってさまざまな分野のゲームやエンターテイメントに言語の可能性を応用させることに取り組んでいました。また、パナソニックのコミュニケーションスペース「100BANCH」でも2018年から異言語Lab.という団体での採択をいただいて、そこでも非常にたくさんのチャンスをいただいたことがあり、コミュニティの大事さを実感することも多々ありました。
手話話者の方々と一緒に技術自体を育てていくにはどうしたらいいんだろう、と考えることが続き、フィールドに入って行うだけでなく、みんなで楽しみながら技術を育む環境づくりを考えていた時でもあったんです。現在はまだプロトタイピングを作ってる段階ではあるんですが、もう少ししたらユーザーとの関わりの中で育て方からつくっていくなど、有機的な関係性が広げられると思います。
西村さん：和田さんの作品はとても興味深いですね。「Signed」では身体表現をインプットにして鏡というオブジェクトとしてアウトプットし、「An image of …」はディスプレイという視覚だけの出口。アウトプットや出口に想定しているものはどのように考えていますか？
和田さん：「Signed」では鏡に向き合う形になっていますが、「An image of …」でも実は、照明は人側に当たっているんです。人々が表し手になっていくという作品意図や、あくまでもそれを引き出すことを表現しました。
以前筧先生が「インタラクションデザインは関係性のデザインだ」と仰られたのが印象的で、こうしたコミュニケーションを相互的なものであるように捉えています。フィードバックを受けて相互の関係性が醸成されていき、最終的に言語になった視覚言語の世界に興味があるのも、そうした背景が大きな理由だと思います。なので技術的な介入や、引き出されるイメージが提示された時に起こる変容自体にもとても興味があるんです。
現時点ではZoomなど遠隔の可能性を探っているところなので、ディスプレイからディスプレイ、あるいはもう少し3次元的なものを活用していくか。もしくは、フューチャーワークとして触覚提示も想定しています。手は道具を扱う部分なので、何か道具的なものと接続していくことはあり得ると思うんです。
言語でありアートでもあるもの
筧さん：相互性を表すということにおいて、やはり手話はすごく面白いものです。手話で重要なのは視線です。顔の表情と合わせて手の動きを見ないと意味が通じないこともあり、かなり体を道具、あるいはディスプレイのように使っているといえます。改めて身体は入力ツールでもあり出力ディスプレイでもあるということです。
ただこの体の多層的な使い方にロボットやデバイスが入ってくると、少しトゥーマッチになってしまうので、まずは手話におけるドローイングや、記号を表すパターン化を行って感情表現を整理しています。
西村さん：すごい面白いテーマですね。手話ってそもそも何なんだ、と立ち戻るプロジェクトのようにも思えてきました。
筧さん：それが和田さんのライフワークテーマでもあって、いわゆる障害者を支援するだけではなく、もっとみんなで身体表現を活用していくことを目指しています。研究の態度としては、みんなで活かしてデザインの骨格にしていきたいです。
西村さん：ちょっと聞いてみたいんですが、手話とジェスチャーが近いように、例えば、手話とダンスはどんな関係性だと思われますか。
和田さん：ダンスはすごく面白い対象だと思います。どこにトリガーをもってきて、何に惹きつけて、何をどう表現するか、と組み立てることや、例えば愛とは何かなど、問いながら表現するメディアとして体を使うことは手話に近いと感じます。
ダンスから学べることはすごくたくさんあると思っていますが、一方で、手話は言語であり、伝える手段でもあるので、曖昧な表現ではなく明確に伝える必要があります。文法構造をもつ言語、ということ自体もまた着目すべきところだと考えられますね。
手話はどちらかというと、デザインや視覚的な発想、例えばアイディアソンやグラフィックレコーディングみたいなツールの思考と近いかもしれません。手話で出てくるメディア自体は視覚的なものなので、絵画にも近いですが、時間軸をもつ表現でもあるので、その意味では音楽にも近い。メッセージや意志も含まれるのでパフォーマンス的でもあり、絵を描いて終わり、というわけにもいかない相互関係が発生します。インタラクションでインプロ的な側面もあると思いますね。
私自身、脳科学の研究員として脳活動を見ていく中でも、人間によって言語になったプロセスを考えていると、芸術と言語は非常に近い関係性にあると感じます。手話という言語を探っていく中でも、芸術表現や身体的表出と言語の関係性が見えてきたら面白いだろうと思う所以です。
西村さん：なるほど、アートのような抽象性もあるけど、アートよりも具体的なんですね。ダンスや音楽や絵画といった言語が生まれる前から存在していた要素を少しずつ残したジェスチャーが発展したような。それ故に表現の豊かさがあるように思いました。
和田さん：そうですね、音声言語とはまた違った視点の細やかな表現力を内包しているところもすごく面白いと思っています。
西村さん：この共同研究において、エンジニアリングと一緒に取り組みたい事柄などがあれば教えてください。
筧さん：現時点では明確な研究課題の設定前なのですが、まずは研究のレイヤーにもっていきたい、と思っています。ジェスチャーが映像メディアによっていかに拡張化されるのか。これまでも取り組んできましたが、まだうまく見えてないところもあるので、コミュニケーションを前提とした環境で、エンジニアリング的な課題を通して可能性を探りたいですね。
あともう1つ、コミュニケーションがどう変わっていくか、きちんと分析していきたいです。これを活用した結果、僕たちが何を表出して伝えることができ、また何が伝わらなくなったのか。おそらくこの共同研究の次のステップになってくるんじゃないかと思うんですが、道具立てができたら進めたいことではあります。例えば展覧会とかワークショップという形など、できれば日常の中でそういう環境を作って、しっかりとコミュニケーションとして使ってみたいですね。
西村さん：なるほど。和田さんはいかがですか。
和田さん：個人的には、記録、保存、伝播がなかなかできてなかったメディアでもある手話を、どうやって表記化していくのかという課題を抱えています。この言語がどんなものかを突き詰めたい自分の命題と、同時に、すごく学際的なものとして扱いながら進めたいことです。言語として、あるいはインタラクションデザインとしてなど、様々なアプローチから多角的に評価してもらえることを考えています。
西村さん：今日のお話を伺いながら、言語が出る前の世界における自然の捉え方としてあったアニミズムと共通するものを感じました。すごく視覚的な事象を、言語ではなくどう表現するのかなど、みなさんのテーマに期待が膨らみます。
和田さん：田中さをりさんの『時間の解体新書』という本で、哲学を手話で紐解くことが書かれているんです。哲学的にすごく大きな難題も、手話を通してみると解けるかもしれない、そんな期待に胸が膨らみます。問題の捉え方や、概念の捉え方に対する思考様式、あるいは発想様式が、視覚的であり身体的であることの可能性は、どんなふうに広がっているのか。手話話者の皆さんとともに、今後そういった学際的な研究についても取り組んでいきたいと思っています。
西村さん：なるほど、視覚情報だと並列でいくつも同時に処理できるというか、ものすごく大量の情報を同時に扱えるのかもしれませんね。その研究には技術面が追いついていく必要もありそうに感じました。
最後に和田さんにお聞きしたいのですが、これは言語の起源の研究ですか？それとも表現の拡張の研究ですか？
和田さん：どちらもです、というのが答えだと思います。メディアとして難しくも面白くもあるのが、言語の起源を探求する行為でありながらも、メディアを創造する過程ではもう前の言語とは違うものが生まれてしまう。その意味では、内言や言語の起源、人の営みといった根源的なところを探求していくアプローチを仕掛けていくつもりです。また、最終的にできるものは、言語をひも解く、というよりはそのツールを使って出てきた表現である、ということも明確なことだと思います。
西村さん：ありがとうございます。今日は本当にとても面白かったです。こうした研究が成立する東大の懐の深さを感じました。ぜひまた共同研究後にもお話をお聞かせください。
【団体概要】
東京大学大学院情報学環・学際情報学府にて、インタラクティブメディア研究者・アーティストの筧康明（東京大学大学院教授）が主宰する研究室。工学・芸術など専門性豊かなメンバーで構成され、研究を行う。
研究室では、ヒューマン・コンピュータ・インタラクション（HCI）やデジタルファブリケーション技術を中心に、素材・身体・空間の特性を活用した新たなフィジカルインタフェースの研究を展開し、CHI、UIST、SIGGRAPHなどの国際会議・論文誌などにて発表、受賞も多数。さらに、メディアアート・デザイン領域での作品発表に取り組み、Ars Electronica Festival、文化庁メディア芸術祭など展覧会・アートフェスティバルでの展示や受賞も多数。加えて、伝統工芸、モビリティなど多岐に渡るテーマのもとで企業や外部機関とのコラボレーションも展開する。