Erlangshen DeBERTa V2 710M Chinese

🚀 二郎神-DeBERTa-v2-710M-中文模型

二郎神-DeBERTa-v2-710M-中文模型善於處理自然語言理解（NLU）任務，採用全詞掩碼方式，是中文的7.1億參數DeBERTa-v2-XLarge模型，為中文NLP領域提供強大支持。

🚀 快速開始

代碼示例

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese', use_fast=False)
model=AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese')
text = '生活的真諦是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=-1)
print(fillmask_pipe(text, top_k=10))

✨ 主要特性

• 專注於自然語言理解（NLU）任務，在相關任務中表現出色。
• 採用全詞掩碼（wwm）方式，提升預訓練效果。
• 基於7.1億參數的DeBERTa-v2-XLarge架構，具備強大的語言理解能力。

📦 安裝指南

文檔未提供具體安裝步驟，可參考transformers庫的官方安裝說明進行安裝。

💻 使用示例

基礎用法

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese', use_fast=False)
model=AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese')
text = '生活的真諦是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=-1)
print(fillmask_pipe(text, top_k=10))

📚 詳細文檔

模型分類

模型信息

參考論文：DeBERTa: Decoding-enhanced BERT with Disentangled Attention

為了得到一箇中文版的DeBERTa-v2-xlarge（710M），我們用悟道語料庫(180G版本)進行預訓練。我們在MLM中使用了全詞掩碼(wwm)的方式。具體地，我們在預訓練階段中使用了封神框架大概花費了24張A100（40G）約21天。

下游任務表現

🔧 技術細節

模型基於DeBERTa-v2架構，使用悟道語料庫（180G版本）進行預訓練，在預訓練的掩碼語言模型（MLM）任務中採用全詞掩碼（wwm）方式，利用封神框架在24張A100（40G）GPU上預訓練約21天。

📄 許可證

本模型採用Apache-2.0許可證。

📖 引用

如果您在您的工作中使用了我們的模型，可以引用我們的論文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我們的網站:

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}

相關鏈接

• 主頁面：封神榜
• Github倉庫：封神榜-LM