Randeng T5 77M

🚀 Randeng-T5-77M

Randeng-T5-77Mは、NLTタスクを処理するのに適した、中国語版のmT5-smallモデルです。このモデルは、自然言語処理において高い性能を発揮します。

🚀 クイックスタート

• メインページ: Fengshenbang
• Github: Fengshenbang-LM

✨ 主な機能

このモデルは、NLT（自然言語変換）タスクを得意とし、中国語の自然言語処理に特化しています。

📦 インストール

from transformers import T5ForConditionalGeneration, AutoTokenizer
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Randeng-T5-77M', use_fast=false)
model=T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-T5-77M')

📚 ドキュメント

モデル分類

モデル情報

我々はmT5-smallをベースに、その中国語版を訓練しました。訓練を加速するために、T5トークナイザー（sentence piece）の中の中英語に対応する語彙のみを再訓練し、悟道コーパス（180GBバージョン）でコーパス適応型事前学習（Corpus-Adaptive Pre-Training, CAPT）を行いました。事前学習の目標はspan破壊です。具体的には、事前学習フェーズで封神フレームワークを使用し、約8枚のA100 GPUで約24時間かけて訓練を行いました。

🔧 技術詳細

このモデルは、mT5-smallのアーキテクチャをベースにしており、中国語の自然言語処理に特化した訓練を行っています。具体的には、T5トークナイザーの語彙を制限し、悟道コーパスで事前学習を行うことで、中国語の文脈理解能力を向上させています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

💻 使用例

基本的な使用法

from transformers import T5ForConditionalGeneration, AutoTokenizer
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Randeng-T5-77M', use_fast=false)
model=T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-T5-77M')

📄 引用

論文引用

もしあなたの研究や開発でこのモデルを使用した場合は、以下の論文を引用してください。

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

ウェブサイト引用

また、以下のウェブサイトも引用することができます。

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}