ニューラルネットワークのトレーニングには、市場で最も高速で高価なアクセラレータを使ってさえも、多大な時間がかかる。だから、多くのスタートアップ企業が、ソフトウェアレベルでプロセスを高速化し、学習プロセスにおける現在のボトルネックをいくつか取り除く方法を検討していることも、不思議ではないだろう。オーストラリアのシドニーに拠点を置くスタートアップで、最近Y Combinator(Yコンビネーター)の22年冬クラスに選抜されたStrong Compute(ストロング・コンピュート)は、学習プロセスにおけるこのような非効率性を取り除くことによって、学習プロセスを100倍以上高速化することができると主張している。
「PyTorch(パイトーチ)は美しいし、TensorFlow(テンソルフロー)もそうです。これらのツールキットはすばらしいものですが、そのシンプルさ、そして実装の容易さは、内部において非効率的であるという代償をもたらします」と、Strong ComputeのCEO兼創設者であるBen Sand(ベン・サンド)氏は語る。同氏は以前、AR企業のMeta(メタ)を共同設立した人物だ。もちろん、Facebook(フェイスブック)がその名前を使う前のことである。
一方では、モデル自体を最適化することに注力する企業もあり、Strong Computeも顧客から要望があればそれを行うが、これは
コメント