Randeng T5 77M

🚀 Randeng-T5-77M

Randeng-T5-77M是中文版的mT5-small，善于处理自然语言转换（NLT）任务，为中文自然语言处理提供了有力支持。

🚀 快速开始

环境准备

确保你已经安装了transformers和torch库。如果未安装，可以使用以下命令进行安装：

pip install transformers torch

代码示例

from transformers import T5ForConditionalGeneration, AutoTokenizer
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Randeng-T5-77M', use_fast=false)
model=T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-T5-77M')

✨ 主要特性

• 中文版适配：基于mT5-small训练出中文版，更适合处理中文自然语言转换任务。
• 训练优化：仅使用T5分词器（sentence piece）中的中英文对应的词表，并采用语料库自适应预训练（CAPT）技术，加速训练过程。

📦 模型信息

模型分类

训练详情

我们基于mT5-small，训练了它的中文版。为了加速训练，我们仅使用T5分词器（sentence piece）中的中英文对应的词表，并且使用了语料库自适应预训练（Corpus-Adaptive Pre-Training, CAPT）技术在悟道语料库（180G版本）继续预训练。预训练目标为破坏span。具体地，我们在预训练阶段中使用了封神框架大概花费了8张A100约24小时。

📄 许可证

本项目采用Apache-2.0许可证。

📚 引用

如果您在您的工作中使用了我们的模型，可以引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}

相关链接

• 主页面：Fengshenbang
• Github：Fengshenbang-LM