roberta-base-10M-1オープンソースモデル - さまざまな規格で異なる規模のデータセットでの事前学習に対応

ホーム

Roberta Base 10M 1

nyu-mllによって開発

異なる規模のデータセット(1M-1Bトークン)で事前学習されたRoBERTaシリーズモデルで、BASEとMED-SMALLの2種類の仕様を含む

大規模言語モデル #小規模事前学習 #マルチバッチ最適化 #低リソースNLP

ダウンロード数 13

リリース時間 : 3/2/2022

モデル概要

小規模データセットで事前学習されたRoBERTaの変種で、言語モデルの性能に及ぼすデータ規模の影響を研究するために使用

モデル特徴

マルチスケール事前学習

1Mから1Bまでの異なるデータ規模の事前学習モデルを提供し、データ規模効果の研究を容易にする

2種類のモデル仕様

標準BASEアーキテクチャ(125M)と簡素化MED-SMALLアーキテクチャ(45M)を含む

厳格な選別

各規模で複数回の実行から検証パープレキシティが最低の3つのモデルを選んで公開

モデル能力

テキスト表現学習

下流タスクのファインチューニング

言語モデル事前学習研究

使用事例

言語モデル研究

データ規模影響研究

異なる事前学習データ規模が言語モデル性能に及ぼす影響を研究

1M/10M/100M/1Bの4つのオーダーに対応する比較モデルを提供

教育応用

軽量言語モデル教育

小規模モデルを使用したNLP教育デモンストレーション

MED-SMALL仕様はわずか45Mパラメータで教育環境に適している

🚀 小規模データセットで事前学習されたRoBERTa

このプロジェクトでは、小規模データセット（100万、1000万、1億、10億トークン）でRoBERTaを事前学習しています。各事前学習データサイズについて、25回（10億トークンの場合は10回）の実行の中から、パープレキシティが最も低い3つのモデルを公開しています。事前学習データはBERTのものを再現しており、英語版ウィキペディアと、smashwordsのテキストを用いたBookCorpusの再現版を約3:1の比率で組み合わせています。

✨ 主な機能

小規模データセットでRoBERTaを事前学習し、パープレキシティが最も低いモデルを公開。
各モデルのハイパーパラメータと検証パープレキシティを提供。

📚 ドキュメント

ハイパーパラメータと検証パープレキシティ

各モデルに対応するハイパーパラメータと検証パープレキシティは以下の通りです。

モデル名	学習サイズ	モデルサイズ	最大ステップ数	バッチサイズ	検証パープレキシティ
roberta-base-1B-1	10億	BASE	100K	512	3.93
roberta-base-1B-2	10億	BASE	31K	1024	4.25
roberta-base-1B-3	10億	BASE	31K	4096	3.84
roberta-base-100M-1	1億	BASE	100K	512	4.99
roberta-base-100M-2	1億	BASE	31K	1024	4.61
roberta-base-100M-3	1億	BASE	31K	512	5.02
roberta-base-10M-1	1000万	BASE	10K	1024	11.31
roberta-base-10M-2	1000万	BASE	10K	512	10.78
roberta-base-10M-3	1000万	BASE	31K	512	11.58
roberta-med-small-1M-1	100万	MED-SMALL	100K	512	153.38
roberta-med-small-1M-2	100万	MED-SMALL	10K	512	134.18
roberta-med-small-1M-3	100万	MED-SMALL	31K	512	139.39