Bert Base Frozen Generics Mlm

🚀 BERT模型微调

本项目对BERT模型进行微调，在通用数据集上进行掩码语言建模。微调时，冻结了预训练BERT除最后一层之外的所有权重。目的是研究该模型是否会对通用表述过度泛化，以及是否会将量化陈述（如“所有鸭子都会下蛋”“所有老虎都有条纹”）当作通用表述来处理。

🚀 快速开始

暂未提供相关快速开始的内容。

✨ 主要特性

• 对预训练BERT模型进行微调，仅放开最后一层权重进行训练。
• 聚焦于通用数据集上的掩码语言建模任务。
• 用于研究模型对通用表述和量化陈述的处理情况。

🔧 技术细节

本项目在预训练的BERT模型基础上进行微调。为了探究特定问题，我们冻结了除最后一层之外的所有权重，仅让最后一层参与在通用数据集上的训练。这样做的目的是观察模型在这种设置下，是否会将量化陈述误判为通用表述，从而深入了解模型在语义理解方面的特性。通过在掩码语言建模任务中的表现，我们可以分析模型对于不同类型陈述的处理能力和潜在的过度泛化问题。