Randeng MegatronT5 770M

🚀 燃灯-MegatronT5-770M

このモデルはNLTタスクを処理するのに優れており、中国語版のT5-largeです。

• メインページ: Fengshenbang
• GitHub: Fengshenbang-LM

🚀 クイックスタート

燃灯-MegatronT5-770Mは、自然言語変換（NLT）タスクを解決するのに適した中国語版のT5-largeモデルです。

✨ 主な機能

このモデルは、NLTタスクを効果的に処理することができ、中国語の自然言語処理に特化しています。

📦 インストール

git clone https://github.com/IDEA-CCNL/Fengshenbang-LM.git

💻 使用例

基本的な使用法

from fengshen import T5ForConditionalGeneration
from fengshen import T5Config
from fengshen import T5Tokenizer

tokenizer = T5Tokenizer.from_pretrained('IDEA-CCNL/Randeng-MegatronT5-770M')
config = T5Config.from_pretrained('IDEA-CCNL/Randeng-MegatronT5-770M')
model = T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-MegatronT5-770M')

📚 ドキュメント

モデル分類

モデル情報

大規模な中国語版のT5を得るために、Megatron-LMの方法と悟道コーパス（180GBバージョン）を使用して事前学習を行いました。具体的には、事前学習フェーズでMegatron-LMを使用し、約16枚のA100 GPUで約14日間かけて学習を行いました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 引用

このモデルを使用した場合は、以下の論文とウェブサイトを引用してください。

論文引用

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

ウェブサイト引用

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}