Babyberta 2

🚀 BabyBERTA

BabyBERTA是一個輕量級的語言模型，基於500萬美國英語兒童導向輸入數據進行訓練。它專為語言習得研究而設計，可在配備單GPU的普通桌面設備上運行，無需高性能計算基礎設施。

🚀 快速開始

加載分詞器

BabyBERTA在訓練時使用了add_prefix_space=True，因此使用默認分詞器設置將無法正常工作。例如，要加載BabyBERTa - 1的分詞器，可以按以下方式操作：

tokenizer = RobertaTokenizerFast.from_pretrained("phueb/BabyBERTa-1",
                                                 add_prefix_space=True)

✨ 主要特性

• 輕量級設計：基於500萬美國英語兒童導向輸入數據訓練，適合在單GPU桌面設備上運行，無需高性能計算基礎設施。
• 適用於語言習得研究：專為語言習得研究而開發，可用於探索兒童語言學習機制。

📚 詳細文檔

超參數

所有提供的模型均在400K步長下進行訓練，批量大小為16。重要的是，BabyBERTa在訓練過程中從不預測未掩碼的標記，即unmask_prob設置為零。具體細節請參考相關論文。

性能

BabyBERTa旨在從兒童導向輸入中學習語法知識。其語法知識通過Zorro測試套件進行評估。最佳模型的整體準確率達到80.3，與RoBERTa - base在Zorro最新版本（截至2021年10月）上的82.6準確率相當。這兩個值與CoNLL 2021論文中報告的值略有不同，原因如下：

1. 大小寫處理差異：RoBERTa - base的性能略高，因為作者之前在評估前將Zorro中的所有單詞轉換為小寫。對專有名詞進行小寫處理對RoBERTa - base不利，因為它可能是在主要使用首字母大寫的專有名詞上進行訓練的。相比之下，由於BabyBERTa不區分大小寫，其性能不受此變化的影響。
2. 數據內容更新：Zorro的最新版本不再包含諸如“Spanish”這樣既可以是名詞又可以是形容詞的模糊內容詞，這導致BabyBERTa的性能略有下降。

Zorro測試的整體準確率

額外信息

該模型由Philip Huebner訓練，他目前就職於UIUC語言與學習實驗室。更多信息請訪問此處。