Distilbert Tokenizer 256k MLM 750k

🚀 DistilBERT with 256k token embeddings

このモデルは、256kのエントリを持つword2vecトークン埋め込み行列で初期化されましたが、これらのトークン埋め込みはMLM（Masked Language Modeling）の間に更新されました。word2vecは、C4、MSMARCO、ニュース、ウィキペディア、S2ORCからの100GBのデータで3エポック学習されました。

その後、このデータセットでMLMを使用してモデルが750kステップ（バッチサイズ64）学習されました。トークン埋め込みはMLMの間に更新されました。

MLM学習中にトークン埋め込みを固定した同じモデルについては、こちらを参照してください: https://huggingface.co/vocab-transformers/distilbert-word2vec_256k-MLM_750k

🚀 クイックスタート

このモデルは、特定のデータセットで学習されたトークン埋め込みを持つDistilBERTモデルです。以下に、モデルの学習の流れを説明します。

まず、word2vecトークン埋め込み行列を使用してモデルを初期化します。この行列は、256kのエントリを持っています。そして、C4、MSMARCO、ニュース、ウィキペディア、S2ORCからの100GBのデータで3エポック学習されたword2vecを使用します。

次に、このデータセットでMLMを使用してモデルを750kステップ（バッチサイズ64）学習します。学習中、トークン埋め込みは更新されます。

MLM学習中にトークン埋め込みを固定した同じモデルが必要な場合は、https://huggingface.co/vocab-transformers/distilbert-word2vec_256k-MLM_750k を参照してください。

🔧 技術詳細

トークン埋め込みの初期化

このモデルは、256kのエントリを持つword2vecトークン埋め込み行列で初期化されます。この行列は、特定のデータセットで学習されたword2vecを使用して生成されます。

学習データ

モデルの学習には、C4、MSMARCO、ニュース、ウィキペディア、S2ORCからの100GBのデータが使用されます。これらのデータセットは、多様なドメインのテキストを含んでおり、モデルの汎化能力を向上させるのに役立ちます。

学習方法

モデルは、MLM（Masked Language Modeling）を使用して学習されます。MLMは、入力テキストの一部のトークンをマスクし、モデルがそれらのトークンを予測するように学習させる手法です。この手法により、モデルは言語の構造や意味を学習することができます。

学習は750kステップ（バッチサイズ64）行われ、学習中にトークン埋め込みは更新されます。これにより、モデルは特定のデータセットに適応したトークン埋め込みを学習することができます。