マイクロソフトが会話型AI分野で自然言語処理(NLP)のマルチタスク学習の開発を進める

・マイクロソフトは会話型人工知能の分野で新記録を樹立しました。

・マイクロソフトは、様々な自然言語理解タスクにわたってテキスト表現を学習する、マルチタスクディープニューラルネットワークの強化版を開発しました。

堅牢かつ普遍的な言語表現は、さまざまな自然言語処理（NLP）タスクで適切な結果を得るために重要です。アンサンブル学習は、モデル一般化を強化するための最も効率的なアプローチの1つです。これまでのところ、開発者はこれを使用して、機械の読解から質問応答まで、さまざまな自然言語理解（NLU）タスクで最先端の成果を得ています。

しかしながら、そのようなアンサンブルモデルは、何百にも及ぶディープニューラルネットワーク（ＤＮＮ）モデルを含み、実施するだけで莫大なコストがかかります。 GPTやBERTなどの事前にトレーニングされたモデルも、展開するのに非常に費用がかかります。例えば、GPTは15億個のパラメータを持つ48層のトランス層で構成され、BERTは3億4,400万個のパラメータを持つ24層のトランス層から構成されています。

2019年、マイクロソフトは独自の自然言語処理（NLP）アルゴリズムを開発し、マルチタスクDNNと名づけました。彼らは、このアルゴリズムをアップデートし、見事な結果を得ています。

知識の蒸留の拡

リンク元