音声AIがスマホカメラに映る映像を解析して質問にズバリ答えられるようにするWorldGaze

音声アシスタントがアホすぎてイラつくのは、誰もが経験すること。音声で機器が操作できるAIは便利この上なしともてはやされているが、実際に使ってみれば、たちまちロボット特有の気の利かなさに泣かされることになる。
命令を実行する前に、もっと情報をくれと聞き返してくる（ときには何度も聞いてくる）スマートスピーカーは、なおさらアホに感じられる。たとえば、自動車修理工場のことを質問したとき、それが今車を停めている目の前にある工場のことだと察してくれなかったり。
カーネギーメロン大学ヒューマン・コンピューター・インタラクション・インスティテュートの研究者たちは、Apple（アップル）の機械学習エンジニアGierad Laput（ジェエラード・ラプット）氏と共同で、音声アシスタント用アドオンのデモソフトを開発した。スマートフォンに内蔵されているAIに手を貸して、というか頭を貸して賢くするというものだ。
このシステムのプロトタイプでは、スマートフォンの前面と背面のカメラを同時に使い、物理空間（具体的には身の回りの環境）のどの位置にユーザーの頭があるかを認識する。それをコンピュータービジョン技術で解析して周囲のものを識別する。
するとユーザーは、自分の頭をポインター代わりにして、何を見て話しているのかをAIにわからせることができる。例えば「あの修理工場」で通じる。言葉で説明することなく、AIの理解の中

リンク元