K 12BERT

🚀 K-12BERT模型

K-12BERT是一個在K-12語料庫上進行持續預訓練的模型。由於類似BERT的模型在領域自適應任務上的表現取得了顯著進展，我們注意到教育領域（尤其是K-12教育）缺乏這樣的模型。為此，我們推出了K-12BERT，這是一個基於BERT的模型，在我們精心策劃的自定義數據集上進行訓練，該數據集從開放和專有教育資源中提取而來。

該模型使用掩碼語言模型（MLM）目標進行訓練，並採用持續預訓練的方式，因為從頭開始訓練模型的可用資源有限。這也使我們能夠節省大量計算資源，並利用BERT的現有知識。在這方面，我們還保留了BERT的原始詞彙表，以便在這些條件下評估模型性能。

🚀 快速開始

我們希望社區，特別是從事教育領域的研究人員和專業人士，能夠利用這個模型推動教育領域的人工智能發展。鑑於該模型在在線教育平臺有多種用途，我們希望能為下一代教育資源的發展做出貢獻。

以下是如何在PyTorch中使用此模型獲取給定文本的特徵：

from transformers import BertTokenizer, BertModel, AutoTokenizer, AutoModelForMaskedLM
tokenizer = BertTokenizer.from_pretrained('vasugoel/K-12BERT') # AutoTokenizer.from_pretrained('vasugoel/K-12BERT')
model = BertModel.from_pretrained("vasugoel/K-12BERT") # AutoModelForMaskedLM.from_pretrained('vasugoel/K-12BERT')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

📚 詳細文檔

BibTeX引用和引用信息

@misc{https://doi.org/10.48550/arxiv.2205.12335,
  doi = {10.48550/ARXIV.2205.12335},
  
  url = {https://arxiv.org/abs/2205.12335},
  
  author = {Goel, Vasu and Sahnan, Dhruv and V, Venktesh and Sharma, Gaurav and Dwivedi, Deep and Mohania, Mukesh},
  
  keywords = {Computation and Language (cs.CL), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {K-12BERT: BERT for K-12 education},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {arXiv.org perpetual, non-exclusive license}
}

📄 許可證

本項目採用Apache 2.0許可證。

📦 信息表格