Randeng T5 77M

🚀 Randeng-T5-77M

Randeng-T5-77M是中文版的mT5-small，善於處理自然語言轉換（NLT）任務，為中文自然語言處理提供了有力支持。

🚀 快速開始

環境準備

確保你已經安裝了transformers和torch庫。如果未安裝，可以使用以下命令進行安裝：

pip install transformers torch

代碼示例

from transformers import T5ForConditionalGeneration, AutoTokenizer
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Randeng-T5-77M', use_fast=false)
model=T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-T5-77M')

✨ 主要特性

• 中文版適配：基於mT5-small訓練出中文版，更適合處理中文自然語言轉換任務。
• 訓練優化：僅使用T5分詞器（sentence piece）中的中英文對應的詞表，並採用語料庫自適應預訓練（CAPT）技術，加速訓練過程。

📦 模型信息

模型分類

訓練詳情

我們基於mT5-small，訓練了它的中文版。為了加速訓練，我們僅使用T5分詞器（sentence piece）中的中英文對應的詞表，並且使用了語料庫自適應預訓練（Corpus-Adaptive Pre-Training, CAPT）技術在悟道語料庫（180G版本）繼續預訓練。預訓練目標為破壞span。具體地，我們在預訓練階段中使用了封神框架大概花費了8張A100約24小時。

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

如果您在您的工作中使用了我們的模型，可以引用我們的論文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我們的網站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}

相關鏈接

• 主頁面：Fengshenbang
• Github：Fengshenbang-LM