rinnaは8月25日、日本語に特化したGPT-2とBERTの事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリーHuggingFaceにオープンソースソフトウェア（OSS）として公開したと発表した。ライセンスはMIT。製品開発のための実験過程で開発したもので、日本語の自然言語処理（NLP）の研究・開発コミュニティに貢献するためという。
GitHub：https://github.com/rinnakk/japanese-pretrained-models
HuggingFace：https://huggingface.co/rinna
rinnaは、2021年4月に日本語に特化した中規模サイズのGPT-2（GPT2-medium）をOSS化しており、今回はモデルサイズが異なる2つのGPT-2（GPT2-small、GPT2-xsmall）を公開したことになる。モデルサイズの違いはパフォーマンスとコストのトレードオフとしており、研究者や開発者は最善のモデル選択可能となるという。また、GPT2-mediumも、学習データと学習時間を増やし、より高性能なモデルへとアップデートしているそうだ。
またGPT-2に加え、BERTを改良したモデルであるRoBERTaも公開した。 GPT-2とBERTの公開により利用者は目的に合わせたモデル選択や
スポンサーリンク
rinnaが日本語に特化したGPT-2とBERTの事前学習モデルを開発しオープンソース化
IT起業ニュース
コメント