マイクロソフトの新アプリはスマホカメラとコンピュータビジョンで英単語を学べる

マイクロソフトの8人のインターンが、新しい言語学習ツールを開発した。スマートフォンのカメラを使って身の回りの語を学び、成人の英語の識字能力向上を図るものだ。Read My Worldと名付けられたこのアプリを使い、スマートフォンで写真を撮って、1500語以上のライブラリから語を学ぶことができる。実際の物体の写真でも、書類の中の文字列でもいいとマイクロソフトは説明する。
このアプリは、授業を補うものとしても使えるし、言語習得のクラスに通う時間やお金がなかった人が語を学ぶ方法としても使うことができる。
授業に参加しなくても、毎日の生活の中で出あうものの写真を撮って学ぼうということだ。
このプロジェクトのソフトウェア開発インターン、Nicole Joyal氏は「もともとは授業のようなスタイルのアプローチを考えていましたが、調査と研究の結果、スイスアーミーナイフのようなもののほうが役に立つと考えました。何かを教えるツールよりも、生活の中で常に役立つツールを作ろうと思ったのです」と語る。
Read My Worldは、Microsoft Cognitive ServicesとComputer Vision APIを組み合わせることで、写真に写っているものを特定する。すると語の綴りが表示され、読み上げられる。特定された語の写真を保存し、アプリの中の自分専用の辞典としてあとで参照することもでき

リンク元