この記事を読んでいるいま、あなたはどんな音に囲まれていますか？ 周囲の人の会話や、テレビの音声、好きな音楽、家の外で鳴り響く救急車のサイレンなど、私たちのまわりにはさまざまな音があふれています。こうした音は、コミュニケーションや知識の獲得、危険の回避などに重要な役割を果たす情報。でも、私たち一人ひとりの耳に入ってくるすべての音が、同じように重要なわけではありません。うるさいだけ、雑音にすぎない、そんな音もあるでしょう。それでは、本当に聞きたい音・知りたい音ってどんな音でしょうか？
今回注目するのは、音の情報を振動と光で伝えるデバイスに変換して伝えるデバイス「Ontenna（オンテナ）」です。Ontennaを通して、ふだんなかなか立ち止まって考えることのない“音を聞くこと”について、みんなで考えたオンラインイベントについてお伝えします。
イベントのタイトルは「“音を聞くこと”のちがいを乗り越えるテクノロジー」。未来館の「研究エリア」*に入居するxDiversity（クロス・ダイバーシティ）プロジェクトから3人のメンバーをお呼びし、視聴者のみなさんの意見を聞きながら考えていきました。xDiversiyプロジェクトは、私たち一人ひとりの身体的・能力的な「ちがい」を起点に、それを乗り越えるようなさまざまなテクノロジーを研究しています。その中でOntennaに関する研究に取り組んでいるのが今回お呼びした3人、Ontenna開発者である本多達也さん（富士通株式会社）、AI技術を研究する菅野裕介さん（東京大学 准教授）、そしてAIなどの技術の使い方について研究する中尾悠里さん（株式会社富士通研究所）です。
だれでも音を感じられるOntenna
まず、Ontennaでこれまでにどんな取り組みをしてきたのかを紹介してもらいました。Ontennaの開発のきっかけは、本多さんが大学時代に聴覚障害の人に出会ったことだそう。耳の聞こえない人に音を伝えたいという思いから、障害の当事者の方とともに開発したのが、Ontennaです。現在、全国のろう学校に無償で配布し使用してもらっているだけでなく、Ontennaを使って聞こえる人も聞こえない人も一緒に楽しむイベントも実施されています。今回紹介してもらったのは、タップダンスの例。Ontennaを着けることで、振動によってタップダンスのリズムを体で感じられます。さらに、その場にいるみんなのOntennaがリズムに合わせて同時に光る様子に、一体感を感じながら楽しむことができます。
Ontennaでタップダンスを楽しむ
AIを組み合わせて広がる可能性
そんなOntennaをAIと組み合わせたら、さまざまな可能性が広がります。AI技術のひとつである機械学習を使ってコンピュータを学習させれば、たとえば自分の名前など、聞き分けたい特定の音だけを識別して反応するOntennaをつくることもできます。ですが、一人ひとりの当事者が必要としていることは多種多様。聞き分けたい音もそれぞれに異なります。そのすべての要望を満たすOntennaをつくることも難しければ、当事者が必要としていることを、研究者や技術者が想像するのにも限界があります。
「障害の当事者がどういうふうになりたいか、どういうことをしたいかは、その人自身が決めるべきであるというのが原則です。ただ、機械学習に詳しくない当事者は、機械学習を使ってどんなことができるのかが想像できません」と語る菅野さんは、機械学習を研究者でない一般の人が使いこなせるようにすることが理想だと考えています。それを目指し、本多さん、中尾さんとともに、聞こえる人と聞こえない人がペアになり、聞き分けたい音を識別するための機械学習のモデルを作製するワークショップを行ったそうです。こうしたワークショップはOntennaの機能向上という目的に留まらず、AIと人の付き合い方を考えてもらう機会になるという意味でも意義がある、と中尾さんは言います。AIの技術が発展して生活のあらゆる場面でサポートしてくれるようになったとき、“AIのサポートに依存する人”と、“AIの限界に気づいてその使い方を自分で工夫する人”に二極化する可能性があります。この問題に対して、「だれもがAIを自分で動かして設計できると伝えることで、両者のギャップを埋めることにつながる。その意味でも、こうした活動は重要だと思います」と語ってくれました。
Ontennaでどんなことができる？ どんなことをしたい？
それでは、みなさんはOntennaを使って、またOntennaと機械学習を組み合わせて、どんなことをしたいですか？ 聞いたことがないような新しい音楽が好きという菅野さんは「もし耳が聞こえなくなったら、新しい音楽をどう感じることができるか？」と考えているそう。「機械学習でいろんな音楽を学習させることで、ロックっぽい、クラシックっぽい、ヒップホップっぽいという検出をするモデルはつくれると思うんです。でも、そんなモデルがあっても、新しい音楽をうまく表現できないと思うんですよね。新しい音楽ならではの特徴がうまく伝わるようななにかがあったらうれしいです」と語ってくれました。まだどう解決できるかの答えはないそうですが、どうしたら伝わる？ と考えてみるのは、耳で聞くだけでは気づいていなかった音楽の新しい側面に気づくチャンスかもしれません。Ontennaを使った音楽の取り組みについては、視聴者の方からも「音楽を他の表現に変換するって、音楽とは何かという根源的な問いにつながっていて面白い」というコメントをいただきました。
イベント中、ほかにもたくさんのコメントをいただきました。たとえば「Ontennaは耳の聞こえないひとたちのためだけど、目の見えないひとたちのためにOntennaみたいな楽しいものができたらいいな（小1息子より）」。素敵な意見ですね！ これに対して本多さんからは「たとえば、画像認識とOntennaを組み合わせて、『バイバイ』と手を振った動きを認識してOntennaが振動するようにする。目が見える僕らも、後ろから手を振られたらわからないですよね。でもこうすれば目が見える・見えないにかかわらず、手を振ってくれたことに気づけるようになるかもしれないですね」というアイデアが出ました。
また、画像認識の技術を使うことは、実は聴覚障害の方が視界に入っていないところから声で呼ばれたときに気づけるようにするためにも良い方法かもしれません。「がんばって音だけで呼ばれていることを検出することもできるんですけど、360度見えるカメラが設置されていれば結構簡単に実現できちゃうんじゃないかと思います」と菅野さん。呼びかけている人の特徴を機械学習させることによって画像認識で「呼ばれている」と判断できるようにするほうが、呼ばれた声（聞こえないからわからない情報）で判断するよりも簡単、というわけです。音が聞こえないからといって音の情報をもとにサポートをするだけでなく、別のアプローチのほうが効率が良いこともあるというのは、大事な視点ですね。そして、聞こえない人や見えない人のための技術を開発していくと、たとえばだれにも見ることができない後ろにいる人の動作が感じられるようになるなど、見える人・聞こえる人の新しい可能性を広げるかもしれないという点も、技術のおもしろさのひとつではないでしょうか。
今後のイベントもお楽しみに！！
イベント中は、この他にもさまざまな内容に話が及びました。すべてをブログではお伝えしきれないので、気になる方はぜひYouTubeのアーカイブでご確認ください！
今後も未来館では、OntennaやそのほかのxDiversityプロジェクトの取り組みに注目して、イベントを実施していく予定です。xDiversityの研究の大事な出発点は、私たち一人ひとりの「ちがい」。身体的な「ちがい」だけでなく、意見の「ちがい」や考えの「ちがい」など、さまざまな「ちがい」を持つみなさんのご参加をお待ちしています！
*未来館の「研究エリア」とは
展示エリアの隣にある「研究エリア」には最先端の科学技術研究を進める12の外部プロジェクトチームが常駐しています。化学、生命科学、ロボット工学、情報学、認知科学、心理学など多様なプロジェクトチームが、日々研究にとりくんでいます。ですがここは、研究者だけのための場所ではありません。来館者のみなさんが最先端の研究に参加する場所でもあります。研究者たちは、ともに研究を進め、未来をつくっていくために、みなさんをお待ちしています。
