OpenAIは非常に優れたテキストジェネレータを開発したが、そのままリリースするのは危険すぎると考えている

非営利の人工知能研究会社OpenAIによって開発された、新しい言語モデルをめぐって嵐が巻き起こっている。そのモデルが説得力のある整った文章を生成する能力に長けているために、同研究所はその悪用の可能性を懸念しているのだ。
だがコミュニティの中には、同社のその態度は、研究成果を囲い込まないという約束を破るものだと、怒りを表明する者もいる。
OpenAIによれば、新しい自然言語モデルGPT-2は、40ギガバイトのインターネットテキストのサンプルを用いて、次の単語を予測するように訓練されているということだ。これは最終結果として「与えられた条件テキストのスタイルと内容に適合する」テキストを生成するシステムである。この性質によって、利用者は「選ばれた1つの話題に沿った、リアルで一貫した内容を生成する」ことが可能になる。このモデルは、最初のバージョンからは大幅に改良されていて、より一貫性のある長いテキストを生成するようになっている。
しかし、より良い対話やより良い音声認識が可能なボットを実現するような、様々な素晴らしい応用がある一方で、OpenAIは、フェイクニュース、他人へのなりすまし、あるいはソーシャルメディア上での攻撃的あるいはスパムコメントの生成などにも利用できることに気が付いた。
例えば、GPT-2が、ほぼ誰もが賛成するだろう「リサイクルは世界にとって良いことだ」という「お題文」に対し

リンク元