手話と音声の円滑な相互コミュニケーションを。「SureTalk」開発者インタビュー

自分と違う言葉を使う人とも気軽にコミュニケーションをしたい。近年の技術の高度化により、その願いが徐々に実現し、例えば外国語の自動翻訳機により外国語の理解が容易になってきています。それと同じように、手話を第一言語とする人と、手話を使わない人がストレスなく意思疎通できないか… そんな思いから開発された手話と音声による双方向コミュニケーションシステム「SureTalk（シュアトーク）」について、2017年の企画当初から携わってきた担当者にサービスについて聞きました。

ソフトバンク株式会社 テクノロジーユニット サービス推進部 SureTalk課田中 敬之(たなか・のりゆき）さん

ITインフラ事業会社で海底ケーブルの建設・保守に従事後、ソフトバンク（株）へ。2017年からSureTalkのプロジェクトを立ち上げ、責任者として従事

画面上に手話や音声の内容をテキストで表示。場所も時間も制限なく利用可能なコミュニケーションツール

民間企業での障がい者雇用が進み、皆さんの職場でも何らかの障害を持つ仲間と一緒に働く機会があると思います。ソフトバンクでもさまざまな社員が活躍しており、中には聴覚障がいを持ち、手話を使う社員もいます。実際に働く現場では、手話の分からない社員が同席する会議で意思疎通がスムーズにできずにお互いがストレスを感じてしまったり、緊急時などに必要な情報を瞬時に受け取れず不便を感じたりと、コミュニケーション上の課題がありました。そこで、手話で表現するだけで、相手がその内容を理解できるようにと開発されたのがSureTalkです。

SureTalkは、手話と音声を使い、聴覚障がい者と健聴者がリアルタイムにコミュニケーションできるサービスです。パソコンやタブレットを介して利用するため、相手が遠方でも同じ場所にいても、意思疎通することができます。また、手話認識の精度を高めるために、ユーザーの手話を学習させる機能も備わっています。手話や音声からのテキスト変換や手話学習の機能には最先端のAI技術が使われており、手話認識や言語処理の課題に対応しています。

手話を認識してテキスト変換する機能に加え、音声をテキスト化する機能があるのがSureTalkの特長です。聴覚障がい者も健聴者も同じサービスの中でコミュニケーションを完結できます。

手話で話した内容がどんどん認識され、テキスト表示

実際のデモの様子

実際にSureTalk利用の様子を見せてもらいました。手話で話しかける際は、ゆっくり・はっきりが基本とのことで、1つ1つの動作がはっきり見て取れました。最近よく会見のテレビ中継で目にする、同時通訳のような速さではなく、イメージは初心者向けの手話学習番組のスピードです。

話しかけた後のテキスト化までの時間はとても短く、数秒で正しい文章が表示されます。離れた場所にいる話者とのやりとりは違和感なく、パソコンやスマホのテキストチャットツールを使用しているときのようにスムーズな印象でした。

身体動作追跡の様子

また、デモ動画の裏側で行われている処理を見てみると、骨格で人の動きを追跡しているのが分かります。

手話認識や言語化は簡単なようで難しい。解決のために最先端のAI技術を導入

メイン機能となる会話は、手話をする人と話せる人がそれぞれSureTalkが使えるパソコンやタブレットを使います。端末のカメラに向かって手話で話しかけると、その動作から骨格や関節の特徴を抽出し、データベースと照合して何という単語か特定。特定された単語を自然言語処理によって①助詞を追加し、②語尾の活用変換をして自然な日本語にします。こうして処理された内容が、双方の端末上にテキスト表示されます。

テキストを見た相手は端末のマイクに向かってしゃべりかけると、話した順に音声を認識し、端末上にテキスト表示します。雑音や反響のある環境でも音声を認識することができ、将来的には話者を識別する機能も追加する予定です。

テキスト化された内容が意図しないものであった場合には、該当箇所を引用し、修正内容を新規投稿することで修正が可能です。

田中「SureTalkの手話認識は、単語ベースに分解して分析し、言語処理を行う点がユニークです。例えば、『窓口はどこにありますか』という文章を単語ベースに分解して登録しておきます。あとは、『トイレ』という単語が登録されていれば、『窓口』の部分を入れ替えるだけで『トイレはどこにありますか』と認識できるのです。1つ1つの場面に合わせた大量のフレーズを登録する必要がなくなりました」

登録機能は、人によって異なる手話動作でも認識できるよう、精度を高めるためのものです。手話の文章や単語のサンプル動画があるので、動きを確認し、カメラに向かってサンプルと同じ手話動作をして登録します。

田中「登録は、手話を学んだことがない方でも可能です。サンプル動画を見て動作をまねるので、登録作業をすることが学習につながる効果もありますので、興味のある方はぜひ試してみてください」

役所の窓口やその他一般的なやり取りを行うシーンに必要な単語はおよそ2,000語を想定しているとのこと。現在SureTalkで対応できる単語、文章はまだ少ないため今後増やしていく必要があり、最終的に1万語の単語登録を目指していくそうです。

SureTalkサービスが使用可能な端末とアプリケーション（2021/7/28現在）