Gpt2 Medium Italian Embeddings

🚀 適用於意大利語的GPT - 2（中等規模，適配詞法嵌入）

本項目基於OpenAI的中等規模GPT - 2模型，對詞法層進行了針對意大利語詞彙表的重新訓練，可用於意大利語的文本生成任務。

🚀 快速開始

基礎用法

from transformers import pipeline

pipe = pipeline("text-generation", model="GroNLP/gpt2-medium-italian-embeddings")

高級用法

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/gpt2-medium-italian-embeddings")
model = AutoModel.from_pretrained("GroNLP/gpt2-medium-italian-embeddings")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/gpt2-medium-italian-embeddings")  # Tensorflow

✨ 主要特性

• 該模型基於中等規模的OpenAI GPT - 2（gpt2-medium）模型構建。
• 模型中的Transformer層權重與原始英文模型相同，但詞法層已針對意大利語詞彙表進行了重新訓練。
• 詳細信息可查看我們發表在arXiv上的論文以及Github上的代碼。

📚 詳細文檔

相關模型

荷蘭語模型

• gpt2-small-dutch-embeddings：小規模模型，僅重新訓練了詞法嵌入。
• gpt2-small-dutch：小規模模型，重新訓練了詞法嵌入並對整個模型進行了額外的微調。（推薦）
• gpt2-medium-dutch-embeddings：中等規模模型，僅重新訓練了詞法嵌入。

意大利語模型

• gpt2-small-italian-embeddings：小規模模型，僅重新訓練了詞法嵌入。
• gpt2-small-italian：小規模模型，重新訓練了詞法嵌入並對整個模型進行了額外的微調。（推薦）
• gpt2-medium-italian-embeddings：中等規模模型，僅重新訓練了詞法嵌入。

BibTeX引用

@misc{devries2020good,
      title={As good as new. How to successfully recycle English GPT-2 to make models for other languages}, 
      author={Wietse de Vries and Malvina Nissim},
      year={2020},
      eprint={2012.05628},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

作者信息

• Wietse de Vries
• Malvina Nissim

信息表格