Gpt2 Finetuned Greek

🚀 希臘語（el）GPT2 模型

本項目由希臘陸軍學院（SSE）和克里特技術大學（TUC）合作完成，推出了基於英語 GPT - 2 微調的希臘語文本生成模型。該模型利用約 23.4GB 的希臘語語料進行訓練，在希臘語文本生成任務中具有良好表現。

🚀 快速開始

你可以使用以下代碼示例快速體驗該模型的文本生成能力：

from transformers import pipeline

model = "lighteternal/gpt2-finetuned-greek"

generator = pipeline(
    'text-generation',
    device=0,
    model=f'{model}',
    tokenizer=f'{model}')
    
text = "Μια φορά κι έναν καιρό"

print("\n".join([x.get("generated_text") for x in generator(
    text,
    max_length=len(text.split(" "))+15,
    do_sample=True,
    top_k=50,
    repetition_penalty = 1.2,
    add_special_tokens=False,
    num_return_sequences=5,
    temperature=0.95,
    top_p=0.95)]))

✨ 主要特性

• 高效微調：基於英語 GPT - 2 模型進行微調，採用逐步解凍層的方法，相比從頭開始訓練更高效、更可持續，尤其適用於資源有限的語言。
• 豐富語料：使用約 23.4GB 的希臘語語料進行訓練，語料來源於 CC100、Wikimatrix、Tatoeba、Books、SETIMES 和 GlobalVoices 等，包含長序列文本。

💻 使用示例

基礎用法

from transformers import pipeline

model = "lighteternal/gpt2-finetuned-greek"

generator = pipeline(
    'text-generation',
    device=0,
    model=f'{model}',
    tokenizer=f'{model}')
    
text = "Μια φορά κι έναν καιρό"

print("\n".join([x.get("generated_text") for x in generator(
    text,
    max_length=len(text.split(" "))+15,
    do_sample=True,
    top_k=50,
    repetition_penalty = 1.2,
    add_special_tokens=False,
    num_return_sequences=5,
    temperature=0.95,
    top_p=0.95)]))

📚 詳細文檔

模型描述

這是一個基於英語 GPT - 2 的文本生成（自迴歸）模型，藉助 Huggingface transformers 和 fastai 庫實現。通過逐步解凍層的方式進行微調，為資源有限的語言提供了一種高效且可持續的訓練方案。該模型的實現參考了 Thomas Dehaene（ML6）創建荷蘭語 GPT2 的工作：點擊查看。

訓練數據

我們使用了來自 CC100、Wikimatrix、Tatoeba、Books、SETIMES 和 GlobalVoices 等整合的希臘語語料庫中的 23.4GB 樣本，該樣本包含長序列文本。此模型是我們之前的 GPT - 2 小模型（點擊查看）的改進版本。

評估指標

📄 許可證

本模型使用 Apache - 2.0 許可證。

🔗 致謝

本研究工作得到了希臘研究與創新基金會（HFRI）的 HFRI 博士獎學金資助（獎學金編號：50，第二輪）。同時，本項目參考了 Thomas Dehaene（ML6）的工作：點擊查看。