Randeng T5 Char 700M Chinese

🚀 Randeng-T5-Char-700M-Chinese

このモデルは、NLTタスクの処理に優れた中文版のT5-largeです。BertTokenizerと中文字レベルの辞書を採用しています。

• メインページ: Fengshenbang
• Github: Fengshenbang-LM

🚀 クイックスタート

概要

このモデルは、自然言語変換（NLT）タスクに特化した、燃灯シリーズのT5モデルです。700Mのパラメータを持ち、中文に最適化されています。

モデル分類

モデル情報

T5-smallと比較して、このモデルは中文版を実装しています。中文タスクに適用するために、BertTokenizerと中英語対応の語彙を使用し、語料庫適応型事前学習（Corpus-Adaptive Pre-Training, CAPT）技術を用いて、悟道語料庫（180Gバージョン）で事前学習を続けています。事前学習の目標はspan破壊です。具体的には、封神フレームワークを使用し、16枚のA100 GPUで約96時間かけて事前学習を行いました。

💻 使用例

基本的な使用法

from transformers import T5ForConditionalGeneration, BertTokenizer
import torch

tokenizer=BertTokenizer.from_pretrained('IDEA-CCNL/Randeng-T5-Char-700M-Chinese', add_special_tokens=False)
model=T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-T5-Char-700M-Chinese')

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 引用

もしあなたの研究や開発でこのモデルを使用した場合、以下の論文を引用してください。

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

また、以下のウェブサイトも引用できます。

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}