立命館大学 大学見本市

分野

情報通信

異なる言語や知識をつなぐ
コミュニケーション能力の
教育支援アプリ

Application system for educating communication skills
beyond the border of languages and knowledge

SDGs4
情報理工学部
ワイト・ジェレミー 准教授

BACKGROUND

研究の概要・背景

コミュニケーション能力を育てる、翻訳アプリの新たな可能性とは

現在、世の中に翻訳アプリはたくさんありますが、そのほとんどが文字から文字、ないしは音声から文字に翻訳するもの。翻訳の精度もあまり高くなく、発言の中のちょっとした感情の機微や言い回しの違いなどを正確に反映する段階には至っていません。「この翻訳アプリを使えばコミュニケーションは完璧だ」と謳っている翻訳機もありますが、まだまだ機械翻訳には不十分な点があると感じていました。また、システムに頼り切って話すだけでは、システムがなければ会話ができなくなってしまいます。この状況を解決するため、新たに開発したのが本技術。人間同士の会話に、システムあるいは評価者が介在し、話し方や情報の不足、言葉の選び方などの基本的なコミュニケーションについてフィードバックするシステムです。音声入力された内容を機械が判断し、その内容を評価者がどれくらい理解できたかをアプリ画面に3段階の表情で表示。話者の発話が評価者に認識された・されなかったことを可視化して、相手に伝わりやすい話し方や語彙選択の能力を高めるサポートを行います。ユーザ自身のコミュニケーション能力を教育することで、システムがなくても異なる言語や知識、文化の間で円滑なコミュニケーションができるように支援します。

FEATURE

シーズの特徴

伝達度をフィードバックし、伝わりやすい発話を学習する

この技術の特徴は、従来「ことば→ことば」の翻訳を行っていたところに、感情認識や文法問題の検出などの技術を組み合わせ、より正確な判断を実現しようとするところにあります。1文中の単語の数や、使用した語彙の難易度を分析し、相手に伝わるかどうかを導き出します。また、話者の属性を設定し、文化やコンテキストに適した発話内容および発話方法であるかも判定します。例えば、外国人が道を聞くときに早口かつ長文で話してしまっては、伝わりません。その場合、アプリの画面には伝わらないことを示す怒りの表情が表示されます。表情が笑顔になるまで、語彙を変えたり話し方を変えたり、短い文で話したりすることによって、その場のコミュニケーションがスムーズになります。今現在起こっている、翻訳アプリの誤訳による意思疎通の問題を解決することにもつながりますし、このような動作を日常生活の中で反復して、コミュニケーションの訓練をすることもできるのです。また、教育の場面でも伝わりやすい話し方の学習ツールとして活用できます。判定を手動で行う機能も持たせているため、教員が判断を行いコントロールしながら、より精度の高い訓練も行えます。

VISION

解決したい未来

Withコロナ時代のコミュニケーションの課題にどう立ち向かうか

私は教育分野の研究者ですが、情報分野に長けた先生方と共同で開発を行うことで、より柔軟な教育支援システムの構築を進めています。現在はスマホアプリとして開発していますが、PCへの対応やiOS/Androidなど各動作環境への対応を広げていく予定です。今後は、より複雑な判定結果を表示することや、フィードバックを画像以外の、例えば音や振動などで表現するなど、より広い範囲での活用を想定したインクルーシブなアプリに高めていきたいと考えています。また、抑揚や言葉遣いなど、発話の判定基準についての項目も増やし、より複雑な感情認識ができるようにしたいです。Withコロナ時代に突入し、マスクをして日常生活を送ることが当たり前な社会になりつつあります。口元が見えない状態でのコミュニケーションにおける課題は現在も指摘されており、話し方・伝え方といった教育的指導がより難しくなるでしょう。これらの問題にも対応し、人々の学習を支援していきたいと考えています。

提案技術を用いた
デモンストレーション動画はこちら

TOPページへ戻る