Gpt2 Finetuned Greek

🚀 ギリシャ語 (el) GPT2モデル

このモデルは、ギリシャ語のテキスト生成に特化したGPT2ベースのモデルです。ヘレニック陸軍士官学校（SSE）とクレタ工科大学（TUC）によって開発されました。

ヘレニック陸軍士官学校（SSE）とクレタ工科大学（TUC）による開発

✨ 主な機能

このモデルは、英語のGPT - 2をベースに、Huggingface transformersとfastaiを使用したテキスト生成（自己回帰）モデルです。段階的なレイヤーの凍結解除によってファインチューニングされており、特に低リソース言語において、ゼロからのトレーニングよりも効率的で持続可能なアプローチです。このモデルの開発は、Thomas Dehaene (ML6)によるオランダ語のGPT2の作成に基づいています。参考: https://colab.research.google.com/drive/1Y31tjMkB8TqKKFlZ5OJ9fcMp3p8suvs4?usp=sharing

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、transformers ライブラリをインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

model = "lighteternal/gpt2-finetuned-greek"

generator = pipeline(
    'text-generation',
    device=0,
    model=f'{model}',
    tokenizer=f'{model}')
    
text = "Μια φορά κι έναν καιρό"

print("\
".join([x.get("generated_text") for x in generator(
    text,
    max_length=len(text.split(" "))+15,
    do_sample=True,
    top_k=50,
    repetition_penalty = 1.2,
    add_special_tokens=False,
    num_return_sequences=5,
    temperature=0.95,
    top_p=0.95)]))
    

📚 ドキュメント

トレーニングデータ

23.4GBのサンプルを、CC100、Wikimatrix、Tatoeba、Books、SETIMES、GlobalVoicesからの統合ギリシャ語コーパスから使用しました。これは、私たちのGPT - 2 smallモデル（https://huggingface.co/lighteternal/gpt2-finetuned-greek-small）の改良版です。

評価指標

謝辞

この研究は、ヘレニック研究・革新財団（HFRI）の博士研究奨学金（奨学金番号: 50、第2回公募）によって支援されました。また、このモデルはThomas Dehaene (ML6)の仕事に基づいています。参考: https://blog.ml6.eu/dutch-gpt2-autoregressive-language-modelling-on-a-budget-cff3942dd020

📄 ライセンス

このモデルは、Apache License 2.0の下で提供されています。