Distilbert Word2vec 256k MLM 500k

🚀 DistilBERT with word2vec token embeddings

このモデルは、256kのエントリを持つword2vecトークン埋め込み行列を備えています。word2vecは、C4、MSMARCO、ニュース、ウィキペディア、S2ORCからの100GBのデータで3エポック学習されました。

その後、このモデルはこのデータセットでMLMを使用して500kステップ（バッチサイズ64）学習されました。トークン埋め込みは更新されていません。

🚀 クイックスタート

このモデルは、word2vecトークン埋め込み行列を利用したDistilBERTモデルです。word2vecは大規模なデータセットで学習され、その後MLMを用いて追加学習が行われています。

🔧 技術詳細

• トークン埋め込み行列：このモデルは256kのエントリを持つword2vecトークン埋め込み行列を使用しています。
• word2vecの学習データ：C4、MSMARCO、ニュース、ウィキペディア、S2ORCからの100GBのデータを用いて、3エポック学習されました。
• モデルの学習：このデータセットでMLMを使用して500kステップ（バッチサイズ64）学習されました。トークン埋め込みは更新されていません。