Mgpt

🚀 mGPT

mGPT是一個基於Transformer架構的模型，它在大規模多語言數據上進行預訓練，解決了多語言文本處理的難題，為多語言文本生成和下游任務適配提供了強大的支持。

🚀 快速開始

mGPT在mC4數據集上基於因果語言建模目標進行預訓練。它在這篇論文中被提出，並在該頁面首次發佈。

✨ 主要特性

• mGPT是基於Transformer的模型，在涵蓋101種以上語言的大規模多語言數據上進行預訓練。
• 與GPT - 2類似，它僅在原始文本上進行預訓練，無需人工標註。
• 使用與mT5模型相同的分詞方法和詞彙表。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import MT5Tokenizer, GPT2LMHeadModel, TextGenerationPipeline

tokenizer = MT5Tokenizer.from_pretrained("THUMT/mGPT")
model = GPT2LMHeadModel.from_pretrained("THUMT/mGPT")

pipeline = TextGenerationPipeline(model=model, tokenizer=tokenizer)
text = "Replace me by any text you'd like."
text = pipeline(text, do_sample=True,  max_length=1024)[0]["generated_text"]

高級用法

文檔未提及高級用法代碼示例，故跳過此部分。

📚 詳細文檔

預期用途

你可以使用原始模型進行文本生成，或使用提示詞將其適配到下游任務。

預處理

文本使用sentencepiece進行分詞，詞彙表大小為250,100。輸入是由1,024個連續標記組成的序列。我們使用<extra_id_0>來分隔文檔中的行。

🔧 技術細節

文檔未提供足夠的技術實現細節（未超過50字），故跳過此章節。

📄 許可證

文檔未提及許可證信息，故跳過此章節。

📚 引用信息

@misc{tan2021msp,
    title={MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators},
    author={Zhixing Tan and Xiangwen Zhang and Shuo Wang and Yang Liu},
    year={2021},
    eprint={2110.06609},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}