Distilbert Word2vec 256k MLM 250k

🚀 基於詞向量（word2vec）詞元嵌入的DistilBERT模型

本模型擁有一個包含256k個條目的詞向量（word2vec）詞元嵌入矩陣。該詞向量模型在來自C4、MSMARCO、新聞、維基百科、S2ORC的100GB數據上進行了3個輪次的訓練。

隨後，此模型在該數據集上通過掩碼語言模型（MLM）進行了250k步的訓練（批次大小為64），且詞元嵌入未進行更新。

🚀 快速開始

本模型是在特定數據集上進行預訓練的DistilBERT模型，使用詞向量（word2vec）作為詞元嵌入。以下是使用該模型的基本流程：

1. 準備好與訓練數據類似的文本數據。
2. 根據任務需求對模型進行微調。

🔧 技術細節

詞向量（word2vec）訓練

• 訓練數據：使用來自C4、MSMARCO、新聞、維基百科、S2ORC的100GB數據。
• 訓練輪次：3個輪次。
• 嵌入矩陣規模：包含256k個條目。

DistilBERT模型訓練

• 訓練任務：使用掩碼語言模型（MLM）。
• 訓練步數：250k步。
• 批次大小：64。
• 詞元嵌入更新：訓練過程中詞元嵌入未進行更新。