Bert Base Frozen Generics Mlm

🚀 BERT模型微調

本項目對BERT模型進行微調，在通用數據集上進行掩碼語言建模。微調時，凍結了預訓練BERT除最後一層之外的所有權重。目的是研究該模型是否會對通用表述過度泛化，以及是否會將量化陳述（如“所有鴨子都會下蛋”“所有老虎都有條紋”）當作通用表述來處理。

🚀 快速開始

暫未提供相關快速開始的內容。

✨ 主要特性

• 對預訓練BERT模型進行微調，僅放開最後一層權重進行訓練。
• 聚焦於通用數據集上的掩碼語言建模任務。
• 用於研究模型對通用表述和量化陳述的處理情況。

🔧 技術細節

本項目在預訓練的BERT模型基礎上進行微調。為了探究特定問題，我們凍結了除最後一層之外的所有權重，僅讓最後一層參與在通用數據集上的訓練。這樣做的目的是觀察模型在這種設置下，是否會將量化陳述誤判為通用表述，從而深入瞭解模型在語義理解方面的特性。通過在掩碼語言建模任務中的表現，我們可以分析模型對於不同類型陳述的處理能力和潛在的過度泛化問題。