Erlangshen DeBERTa V2 97M Chinese

🚀 二郎神-DeBERTa-v2-97M-中文

このモデルはNLUタスクを処理するのに優れており、全単語マスキングを採用した、0.97億のパラメータを持つ中国語版DeBERTa-v2-Baseです。

🚀 クイックスタート

• メインページ: 封神榜
• Github: 封神榜-LM

✨ 主な機能

このモデルは、全単語マスキングを採用した中国語版のDeBERTa-v2-Baseで、NLUタスクを効果的に処理することができます。

📚 ドキュメント

モデル分類

モデル情報

参考論文: DeBERTa: Decoding-enhanced BERT with Disentangled Attention

中国語版のDeBERTa-v2-Base（97M）を得るために、悟道コーパス（180Gバージョン）を用いて事前学習を行いました。MLMでは全単語マスキング（wwm）を採用しています。具体的には、事前学習フェーズで封神フレームワークを使用し、24枚のA100 GPUで約7日間かけて事前学習を行いました。

下流タスクのパフォーマンス

以下の下流タスク（devセット）での結果を示します：

💻 使用例

基本的な使用法

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese', use_fast=False)
model=AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese')
text = '生活的真谛是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=7)
print(fillmask_pipe(text, top_k=10))

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

あなたの研究でこのモデルを使用した場合は、以下の文献を引用してください：

論文引用

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

ウェブサイト引用

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}