Babyberta 2

🚀 BabyBERTA

BabyBERTaは、500万語のアメリカ英語の子供向け入力データで学習されたRoBERTaの軽量版です。このモデルは、言語習得研究を目的としており、単一のデスクトップで単一のGPUを使用して実行でき、高性能なコンピューティングインフラストラクチャは必要ありません。

🚀 クイックスタート

トークナイザーの読み込み

BabyBERTaはadd_prefix_space=Trueで学習されているため、トークナイザーのデフォルト設定では適切に動作しません。例えば、BabyBERTa-1のトークナイザーを読み込むには、以下のようにします。

tokenizer = RobertaTokenizerFast.from_pretrained("phueb/BabyBERTa-1",
                                                 add_prefix_space=True)

ハイパーパラメータ

詳細は論文を参照してください。提供されているすべてのモデルは、バッチサイズ16で400Kステップ学習されています。重要なのは、BabyBERTaは学習中にマスクされていないトークンを予測することはなく、unmask_probはゼロに設定されています。

性能

BabyBertaは、子供向け入力から文法知識を学習するために開発されました。その文法知識は、Zorroテストスイートを使用して評価されました。最良のモデルは、全体的な精度80.3を達成しており、RoBERTa-baseの最新バージョン（2021年10月時点）で達成される全体的な精度82.6に匹敵します。これらの値は、CoNLL 2021論文で報告された値とわずかに異なります。これには2つの理由があります。

1. RoBERTa-baseの性能がわずかに高いのは、以前の評価ではZorroのすべての単語を小文字に変換していたためです。固有名詞の小文字化はRoBERTa-baseにとって有害であり、RoBERTa-baseは主に大文字で始まる固有名詞で学習されている可能性が高いためです。対照的に、BabyBERTaは大文字小文字を区別しないため、この変更の影響を受けません。
2. Zorroの最新バージョンでは、「Spanish」のような名詞と形容詞の両方として使える曖昧な内容語が含まれていなくなりました。これにより、BabyBERTaの性能がわずかに低下しました。

Zorroでの全体的な精度：

追加情報

このモデルは、現在UIUC言語と学習ラボに所属するPhilip Huebnerによって学習されました。 詳細はこちらを参照してください。