Mgpt

🚀 mGPT

mGPTは、因果言語モデリングの目的でmC4データセットを使用して事前学習されています。このモデルは、この論文で紹介され、このページで最初に公開されました。

🚀 クイックスタート

mGPTは、101以上の言語をカバーする大量の多言語データで事前学習されたTransformerベースのモデルです。GPT - 2と同様に、人間によるラベリングなしで生テキストのみを使用して事前学習されています。mT5モデルと同じトークン化と語彙を使用しています。

✨ 主な機能

• 生のモデルを使用してテキスト生成を行うことができます。
• プロンプトを使用して下流タスクに適応させることができます。

📦 インストール

このセクションではインストールに関する具体的な手順が提供されていないため、スキップします。

💻 使用例

基本的な使用法

from transformers import MT5Tokenizer, GPT2LMHeadModel, TextGenerationPipeline

tokenizer = MT5Tokenizer.from_pretrained("THUMT/mGPT")
model = GPT2LMHeadModel.from_pretrained("THUMT/mGPT")

pipeline = TextGenerationPipeline(model=model, tokenizer=tokenizer)
text = "Replace me by any text you'd like."
text = pipeline(text, do_sample=True,  max_length=1024)[0]["generated_text"]

📚 ドキュメント

前処理

テキストはsentencepieceを使用してトークン化され、語彙サイズは250,100です。入力は1,024の連続したトークンのシーケンスです。文書内の行を区切るために<extra_id_0>を使用しています。

🔧 技術詳細

このセクションでは、具体的な技術的な説明が十分に提供されていないため、スキップします。

📄 ライセンス

このセクションではライセンス情報が提供されていないため、スキップします。

📚 引用情報

@misc{tan2021msp,
    title={MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators},
    author={Zhixing Tan and Xiangwen Zhang and Shuo Wang and Yang Liu},
    year={2021},
    eprint={2110.06609},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}