Mgpt

🚀 mGPT

mGPT是一个基于Transformer架构的模型，它在大规模多语言数据上进行预训练，解决了多语言文本处理的难题，为多语言文本生成和下游任务适配提供了强大的支持。

🚀 快速开始

mGPT在mC4数据集上基于因果语言建模目标进行预训练。它在这篇论文中被提出，并在该页面首次发布。

✨ 主要特性

• mGPT是基于Transformer的模型，在涵盖101种以上语言的大规模多语言数据上进行预训练。
• 与GPT - 2类似，它仅在原始文本上进行预训练，无需人工标注。
• 使用与mT5模型相同的分词方法和词汇表。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import MT5Tokenizer, GPT2LMHeadModel, TextGenerationPipeline

tokenizer = MT5Tokenizer.from_pretrained("THUMT/mGPT")
model = GPT2LMHeadModel.from_pretrained("THUMT/mGPT")

pipeline = TextGenerationPipeline(model=model, tokenizer=tokenizer)
text = "Replace me by any text you'd like."
text = pipeline(text, do_sample=True,  max_length=1024)[0]["generated_text"]

高级用法

文档未提及高级用法代码示例，故跳过此部分。

📚 详细文档

预期用途

你可以使用原始模型进行文本生成，或使用提示词将其适配到下游任务。

预处理

文本使用sentencepiece进行分词，词汇表大小为250,100。输入是由1,024个连续标记组成的序列。我们使用<extra_id_0>来分隔文档中的行。

🔧 技术细节

文档未提供足够的技术实现细节（未超过50字），故跳过此章节。

📄 许可证

文档未提及许可证信息，故跳过此章节。

📚 引用信息

@misc{tan2021msp,
    title={MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators},
    author={Zhixing Tan and Xiangwen Zhang and Shuo Wang and Yang Liu},
    year={2021},
    eprint={2110.06609},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}