Babyberta 3

🚀 BabyBERTA

BabyBERTaは、500万語のアメリカ英語の子供向け入力データで学習された、RoBERTaの軽量版モデルです。このモデルは、言語習得研究を目的としており、単一のGPU付きデスクトップで動作し、高性能コンピューティングインフラストラクチャは必要ありません。

🚀 クイックスタート

概要

BabyBERTaは、500万語のアメリカ英語の子供向け入力データで学習されたRoBERTaの軽量版です。言語習得研究を目的としており、単一のGPU付きデスクトップで動作し、高性能コンピューティングインフラストラクチャは必要ありません。

提供されている3つのモデルは、論文で報告された10個の学習済みモデルからランダムに選択されたものです。

トークナイザーの読み込み

BabyBERTaはadd_prefix_space=Trueで学習されているため、トークナイザーのデフォルト設定では適切に動作しません。 例えば、BabyBERTa - 1のトークナイザーを読み込むには、以下のようにします。

tokenizer = RobertaTokenizerFast.from_pretrained("phueb/BabyBERTa-1",
                                                 add_prefix_space=True)

ハイパーパラメータ

詳細は論文を参照してください。 提供されているすべてのモデルは、バッチサイズ16で40万ステップ学習されています。 重要なことは、BabyBERTaは学習中にマスクされていないトークンを予測することはなく、unmask_probはゼロに設定されています。

性能

BabyBertaは、子供向け入力から文法知識を学習するために開発されました。 その文法知識は、Zorroテストスイートを使用して評価されました。 最良のモデルは全体的な精度80.3を達成しており、RoBERTa - baseの最新バージョン（2021年10月時点）での全体的な精度82.6と比較できます。 これらの値は、CoNLL 2021論文で報告された値とわずかに異なります。これには2つの理由があります。

1. RoBERTa - baseの性能がわずかに高いのは、以前の評価ではZorroのすべての単語を小文字に変換していたためです。固有名詞の小文字化はRoBERTa - baseにとって有害ですが、BabyBERTaは大文字小文字を区別しないため、この変更の影響を受けません。
2. Zorroの最新バージョンでは、「Spanish」のような名詞と形容詞の両方として使えるあいまいな内容語が含まれていないため、BabyBERTaの性能がわずかに低下しました。

Zorroでの全体的な精度：

追加情報

このモデルは、現在UIUC言語と学習ラボに所属するPhilip Huebnerによって学習されました。

詳細はこちらで確認できます。

[link - BabyBERTa - 1]: https://huggingface.co/phueb/BabyBERTa - 1 [link - BabyBERTa - 2]: https://huggingface.co/phueb/BabyBERTa - 2 [link - BabyBERTa - 3]: https://huggingface.co/phueb/BabyBERTa - 3

📄 ライセンス

このモデルはMITライセンスの下で提供されています。