Facebook、機械学習の訓練時間を大幅に短縮――視覚的認識処理に大きな進歩

スピードが問題となる検索テクノロジーの世界では深層学習モデルの訓練に割く時間は1分ずつがきわめて貴重だ。今朝（米国時間6/8）、Facebookは論文を発表し、この問題に対する独自のアプローチを紹介した。Facebookによれば、ImageNetのResNet-50深層学習モデルの訓練時間を29時間から1時間に短縮することに成功したという。
Facebookがこのようにドラスティックな進歩を遂げることができた理由は、画像認識訓練をこれまでより多数のGPUに分散して並行処理させることに成功したからだ。Facebookはこれを「ミニバッチ」と呼んでいるが、以前のベンチマークでは256種の画像を8基のGPUに分散処理させていた。今日発表された論文のケースでは、ミニバッチのサイズが大幅に拡張され、8192種類の画像を256基のGPUに分散させている。
われわれ一般ユーザーはGPUボードを256枚も持っていないが、大企業や十分な資金のある研究グループならその程度は持っているのが普通だ。処理をこれほど多数のGPUに分散させ、精度を大幅に犠牲にすることなく訓練時間を著しく短縮することに成功したのであれば影響は大きい。
Facebookチームは今回の方法では、初期の学習率を落としているが、これは従来バッチのサイズが大きいと処理が不可能となる問題を避けるためだった。ここでは数学的詳細にはあまり立ち入

リンク元