Randeng T5 Char 700M Chinese

🚀 Randeng-T5-Char-700M-Chinese

Randeng-T5-Char-700M-Chinese是中文版的T5-large，善于处理NLT任务。它采用了BertTokenizer和中文字级别词典，能更好地适用于中文自然语言处理任务。

🚀 快速开始

环境准备

你可以按照以下代码示例来使用Randeng-T5-Char-700M-Chinese模型：

from transformers import T5ForConditionalGeneration, BertTokenizer
import torch

tokenizer=BertTokenizer.from_pretrained('IDEA-CCNL/Randeng-T5-Char-700M-Chinese', add_special_tokens=False)
model=T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-T5-Char-700M-Chinese')

✨ 主要特性

• 专门为中文任务设计，采用BertTokenizer和中文字级别词典。
• 运用语料库自适应预训练(Corpus-Adaptive Pre-Training, CAPT)技术在悟道语料库(180G版本)继续预训练，提升模型性能。

📦 模型信息

模型分类

模型训练

对比T5-small，我们训练了它的中文版。为了更好适用于中文任务，我们仅使用BertTokenzier，和支持中英文的词表，并且使用了语料库自适应预训练(Corpus-Adaptive Pre-Training, CAPT)技术在悟道语料库(180G版本)继续预训练。预训练目标为破坏span。具体地，我们在预训练阶段中使用了封神框架大概花费了16张A100约96小时。

📄 许可证

本项目采用Apache-2.0许可证。

📚 引用

引用论文

如果您在您的工作中使用了我们的模型，可以引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

引用网站

也可以引用我们的网站:

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}

相关链接

• 主页：Fengshenbang
• Github：Fengshenbang-LM