Gpt2 Finetuned Greek

🚀 希腊语（el）GPT2 模型

本项目由希腊陆军学院（SSE）和克里特技术大学（TUC）合作完成，推出了基于英语 GPT - 2 微调的希腊语文本生成模型。该模型利用约 23.4GB 的希腊语语料进行训练，在希腊语文本生成任务中具有良好表现。

🚀 快速开始

你可以使用以下代码示例快速体验该模型的文本生成能力：

from transformers import pipeline

model = "lighteternal/gpt2-finetuned-greek"

generator = pipeline(
    'text-generation',
    device=0,
    model=f'{model}',
    tokenizer=f'{model}')
    
text = "Μια φορά κι έναν καιρό"

print("\n".join([x.get("generated_text") for x in generator(
    text,
    max_length=len(text.split(" "))+15,
    do_sample=True,
    top_k=50,
    repetition_penalty = 1.2,
    add_special_tokens=False,
    num_return_sequences=5,
    temperature=0.95,
    top_p=0.95)]))

✨ 主要特性

• 高效微调：基于英语 GPT - 2 模型进行微调，采用逐步解冻层的方法，相比从头开始训练更高效、更可持续，尤其适用于资源有限的语言。
• 丰富语料：使用约 23.4GB 的希腊语语料进行训练，语料来源于 CC100、Wikimatrix、Tatoeba、Books、SETIMES 和 GlobalVoices 等，包含长序列文本。

💻 使用示例

基础用法

from transformers import pipeline

model = "lighteternal/gpt2-finetuned-greek"

generator = pipeline(
    'text-generation',
    device=0,
    model=f'{model}',
    tokenizer=f'{model}')
    
text = "Μια φορά κι έναν καιρό"

print("\n".join([x.get("generated_text") for x in generator(
    text,
    max_length=len(text.split(" "))+15,
    do_sample=True,
    top_k=50,
    repetition_penalty = 1.2,
    add_special_tokens=False,
    num_return_sequences=5,
    temperature=0.95,
    top_p=0.95)]))

📚 详细文档

模型描述

这是一个基于英语 GPT - 2 的文本生成（自回归）模型，借助 Huggingface transformers 和 fastai 库实现。通过逐步解冻层的方式进行微调，为资源有限的语言提供了一种高效且可持续的训练方案。该模型的实现参考了 Thomas Dehaene（ML6）创建荷兰语 GPT2 的工作：点击查看。

训练数据

我们使用了来自 CC100、Wikimatrix、Tatoeba、Books、SETIMES 和 GlobalVoices 等整合的希腊语语料库中的 23.4GB 样本，该样本包含长序列文本。此模型是我们之前的 GPT - 2 小模型（点击查看）的改进版本。

评估指标

📄 许可证

本模型使用 Apache - 2.0 许可证。

🔗 致谢

本研究工作得到了希腊研究与创新基金会（HFRI）的 HFRI 博士奖学金资助（奖学金编号：50，第二轮）。同时，本项目参考了 Thomas Dehaene（ML6）的工作：点击查看。