Babyberta 3

🚀 BabyBERTA

BabyBERTA是一個輕量級的語言模型，基於500萬個美式英語兒童導向輸入詞彙訓練而成。它專為語言習得研究設計，可在配備單GPU的普通桌面設備上運行，無需高性能計算基礎設施。

🚀 快速開始

加載分詞器

BabyBERTA在訓練時使用了 add_prefix_space=True 參數，因此使用默認的分詞器設置無法正常工作。例如，要加載BabyBERTa - 1的分詞器，可以按以下方式加載：

tokenizer = RobertaTokenizerFast.from_pretrained("phueb/BabyBERTa-1",
                                                 add_prefix_space=True)

超參數

具體細節請參考論文。所有提供的模型均以16的批量大小訓練了400K步。重要的是，BabyBERTa在訓練期間從不預測未掩碼的標記，即 unmask_prob 設置為零。

性能

BabyBerta旨在從兒童導向輸入中學習語法知識。其語法知識使用 Zorro 測試套件進行評估。最佳模型的整體準確率達到80.3，與RoBERTa - base相當，後者在Zorro的最新版本（截至2021年10月）上的整體準確率為82.6。這兩個值與 CoNLL 2021論文 中報告的值略有不同，原因如下：

1. RoBERTa - base的性能略高，因為作者之前在評估前將Zorro中的所有單詞轉換為小寫。專有名詞的小寫處理對RoBERTa - base不利，因為RoBERTa - base可能是在主要為標題大小寫的專有名詞上進行訓練的。相比之下，由於BabyBERTa不區分大小寫，其性能不受此變化的影響。
2. Zorro的最新版本不再包含諸如 “Spanish” 這樣既可以是名詞又可以是形容詞的歧義內容詞，這導致BabyBERTa的性能略有下降。

Zorro上的整體準確率

額外信息

該模型由 Philip Huebner 訓練，他目前就職於 UIUC語言與學習實驗室。更多信息請見 此處。

[link - BabyBERTa - 1]: https://huggingface.co/phueb/BabyBERTa - 1 [link - BabyBERTa - 2]: https://huggingface.co/phueb/BabyBERTa - 2 [link - BabyBERTa - 3]: https://huggingface.co/phueb/BabyBERTa - 3

📄 許可證

本項目採用MIT許可證。