Bert Base Frozen Generics Mlm

🚀 BERTモデル（汎化表現データセットでのマスク言語モデリング用ファインチューニング）

このプロジェクトでは、事前学習されたBERTの最後の層以外のすべての重みを固定し、汎化表現データセットでマスク言語モデリングのためにBERTモデルをファインチューニングしています。目的は、モデルが汎化表現を過剰に一般化し、「すべてのアヒルは卵を産む」や「すべてのトラは縞模様がある」などの数量表現を汎化表現として扱うかどうかを調査することです。

🚀 クイックスタート

このモデルは、汎化表現に関する研究を行うために、事前学習されたBERTをファインチューニングしたものです。特定のデータセットで訓練され、汎化表現と数量表現の扱いに関する洞察を得ることができます。

✨ 主な機能

• 事前学習されたBERTの最後の層以外の重みを固定してファインチューニング。
• 汎化表現データセットでのマスク言語モデリングの訓練。
• モデルが汎化表現を過剰に一般化するかどうかの調査。

🔧 技術詳細

このモデルは、事前学習されたBERTモデルをベースに構築されています。訓練の際には、最後の層以外のすべての重みを固定し、汎化表現データセットでマスク言語モデリングを行います。これにより、モデルが汎化表現と数量表現をどのように扱うかを調査することができます。具体的には、モデルが「すべてのアヒルは卵を産む」や「すべてのトラは縞模様がある」などの数量表現を汎化表現として扱うかどうかを分析します。