K 12BERT

🚀 K-12BERTモデル

K-12BERTは、K-12コーパスで継続的な事前学習を行うことで学習されたモデルです。BERTのようなモデルは、ドメイン適応タスクでの性能が大きく向上していますが、教育分野（特にK-12教育）ではそのようなモデルが不足していることに着目しました。そこで、公開および独自の教育リソースから抽出したカスタムデータセットで学習された、BERTベースのK-12BERTを提案します。

このモデルは、最初から学習するためのリソースが不足しているため、MLM目的で継続的な事前学習方式で学習されました。これにより、多くの計算リソースを節約し、BERTの既存の知識を活用することができました。また、その条件下での性能を評価するために、BERTの元の語彙も保持しています。

✨ 主な機能

このモデルは、教育分野の研究者や専門家が、教育におけるAIの分野を発展させるために利用できることを期待しています。オンライン教育プラットフォームでの多様な用途があり、次世代の教育リソースの充実に貢献できることを願っています。

📦 インストール

このセクションではインストールに関する具体的な手順が元文書に記載されていないため、スキップされます。

💻 使用例

基本的な使用法

from transformers import BertTokenizer, BertModel, AutoTokenizer, AutoModelForMaskedLM
tokenizer = BertTokenizer.from_pretrained('vasugoel/K-12BERT') # AutoTokenizer.from_pretrained('vasugoel/K-12BERT')
model = BertModel.from_pretrained("vasugoel/K-12BERT") # AutoModelForMaskedLM.from_pretrained('vasugoel/K-12BERT')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

高度な使用法

元文書に高度な使用法に関するコード例がないため、このセクションは省略されます。

📚 ドキュメント

BibTeXエントリと引用情報

@misc{https://doi.org/10.48550/arxiv.2205.12335,
  doi = {10.48550/ARXIV.2205.12335},
  
  url = {https://arxiv.org/abs/2205.12335},
  
  author = {Goel, Vasu and Sahnan, Dhruv and V, Venktesh and Sharma, Gaurav and Dwivedi, Deep and Mohania, Mukesh},
  
  keywords = {Computation and Language (cs.CL), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {K-12BERT: BERT for K-12 education},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {arXiv.org perpetual, non-exclusive license}
}

🔧 技術詳細

元文書に具体的な技術詳細（50文字以上の説明）がないため、このセクションは省略されます。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

📋 情報テーブル