Erlangshen DeBERTa V2 710M Chinese

🚀 二郎神-DeBERTa-v2-710M-中文模型

二郎神-DeBERTa-v2-710M-中文模型善于处理自然语言理解（NLU）任务，采用全词掩码方式，是中文的7.1亿参数DeBERTa-v2-XLarge模型，为中文NLP领域提供强大支持。

🚀 快速开始

代码示例

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese', use_fast=False)
model=AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese')
text = '生活的真谛是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=-1)
print(fillmask_pipe(text, top_k=10))

✨ 主要特性

• 专注于自然语言理解（NLU）任务，在相关任务中表现出色。
• 采用全词掩码（wwm）方式，提升预训练效果。
• 基于7.1亿参数的DeBERTa-v2-XLarge架构，具备强大的语言理解能力。

📦 安装指南

文档未提供具体安装步骤，可参考transformers库的官方安装说明进行安装。

💻 使用示例

基础用法

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese', use_fast=False)
model=AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese')
text = '生活的真谛是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=-1)
print(fillmask_pipe(text, top_k=10))

📚 详细文档

模型分类

模型信息

参考论文：DeBERTa: Decoding-enhanced BERT with Disentangled Attention

为了得到一个中文版的DeBERTa-v2-xlarge（710M），我们用悟道语料库(180G版本)进行预训练。我们在MLM中使用了全词掩码(wwm)的方式。具体地，我们在预训练阶段中使用了封神框架大概花费了24张A100（40G）约21天。

下游任务表现

🔧 技术细节

模型基于DeBERTa-v2架构，使用悟道语料库（180G版本）进行预训练，在预训练的掩码语言模型（MLM）任务中采用全词掩码（wwm）方式，利用封神框架在24张A100（40G）GPU上预训练约21天。

📄 许可证

本模型采用Apache-2.0许可证。

📖 引用

如果您在您的工作中使用了我们的模型，可以引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站:

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}

相关链接

• 主页面：封神榜
• Github仓库：封神榜-LM