Geppetto

🚀 傑佩託（GePpeTto）GPT2 模型 🇮🇹

這是一個為意大利語預訓練的 GPT2 117M 模型。

你可以在以下論文中找到更多詳細信息：

Lorenzo De Mattei、Michele Cafagna、Felice Dell’Orletta、Malvina Nissim、Marco Guerini 所著的 “GePpeTto Carves Italian into a Language Model”，arXiv 預印本。可在以下鏈接獲取 PDF：https://arxiv.org/abs/2004.14253

🚀 快速開始

加載預訓練模型

你可以通過安裝 Huggingface 庫 transformers 來使用這個模型。可以按照如下方式直接初始化使用：

from transformers import GPT2Tokenizer, GPT2Model

model = GPT2Model.from_pretrained('LorenzoDeMattei/GePpeTto')
tokenizer = GPT2Tokenizer.from_pretrained(
    'LorenzoDeMattei/GePpeTto',
)

使用示例

以下是使用 GPT2LMHeadModel 的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, pipeline, GPT2Tokenizer

tokenizer = AutoTokenizer.from_pretrained("LorenzoDeMattei/GePpeTto")
model = AutoModelWithLMHead.from_pretrained("LorenzoDeMattei/GePpeTto")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer)
prompts = [
    "Wikipedia Geppetto",
    "Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso"
]


samples_outputs = text_generator(
    prompts,
    do_sample=True,
    max_length=50,
    top_k=50,
    top_p=0.95,
    num_return_sequences=3
)


for i, sample_outputs in enumerate(samples_outputs):
    print(100 * '-')
    print("Prompt:", prompts[i])
    for sample_output in sample_outputs:
        print("Sample:", sample_output['generated_text'])
        print()

輸出結果如下：

----------------------------------------------------------------------------------------------------
Prompt: Wikipedia Geppetto
Sample: Wikipedia Geppetto rosso (film 1920)

Geppetto rosso ("The Smokes in the Black") è un film muto del 1920 diretto da Henry H. Leonard.

Il film fu prodotto dalla Selig Poly

Sample: Wikipedia Geppetto

Geppetto ("Geppetto" in piemontese) è un comune italiano di 978 abitanti della provincia di Cuneo in Piemonte.

L'abitato, che si trova nel versante valtellinese, si sviluppa nella

Sample: Wikipedia Geppetto di Natale (romanzo)

Geppetto di Natale è un romanzo di Mario Caiano, pubblicato nel 2012.

----------------------------------------------------------------------------------------------------
Prompt: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso
Sample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso. Il burattino riesce a scappare. Dopo aver trovato un prezioso sacchetto si reca

Sample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso, e l'unico che lo possiede, ma, di fronte a tutte queste prove

Sample: Maestro Ciliegia regala il pezzo di legno al suo amico Geppetto, il quale lo prende per fabbricarsi un burattino maraviglioso: - A voi gli occhi, le guance! A voi il mio pezzo!

📚 詳細文檔

預訓練語料庫

預訓練集主要包含兩個來源。第一個是 2019 年 11 月的意大利維基百科轉儲，包含 2.8GB 的文本。第二個是 ItWac 語料庫（Baroni 等人，2009 年），包含 11GB 的網絡文本。這個集合提供了標準和不太標準的意大利語混合，時間跨度相當廣泛，包含比維基百科轉儲更古老的文本（維基百科轉儲僅涵蓋到 2000 年代後期）。

預訓練細節

該模型使用 GPT2 的 Hugging Face 實現，在 4 個 NVIDIA Tesla T4 GPU 上進行了 620k 步的訓練。

訓練參數如下：

• GPT - 2 小模型配置
• 詞彙量大小：30k
• 批量大小：32
• 塊大小：100
• Adam 優化器
• 初始學習率：5e - 5
• 熱身步數：10k

困惑度得分

更多詳細信息、定性分析和人工評估請查看：https://arxiv.org/abs/2004.14253

📄 引用

請使用以下 BibTeX 條目進行引用：

@misc{mattei2020geppetto,
    title={GePpeTto Carves Italian into a Language Model},
    author={Lorenzo De Mattei and Michele Cafagna and Felice Dell'Orletta and Malvina Nissim and Marco Guerini},
    year={2020},
    eprint={2004.14253},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📚 參考文獻

Marco Baroni、Silvia Bernardini、Adriano Ferraresi 和 Eros Zanchetta. 2009. The WaCky wide web: a collection of very large linguistically processed web - crawled corpora. Language resources and evaluation, 43(3):209–226.