Gpt2 Small Turkish

🚀 トルコ語版GPT2モデルのファインチューニング

このモデルは、英語版のGPT2-Smallモデルをベースに、2020年10月28日時点のトルコ語のウィキペディア記事でファインチューニングおよび追加学習を行ったものです。

このモデルに基づくライブデモはこちら: https://www.metayazar.com/

このモデルを使用したファインチューニング済みのライター: https://huggingface.co/gorkemgoknar/gpt2-turkish-writer

この作業は、Pierre Guillouのチュートリアル（https://github.com/piegu/fastai-projects/blob/master/finetuning-English-GPT2-any-language-Portuguese-HuggingFace-fastaiv2.ipynb）に基づいて行われています。

コードはFastai 2.Xで動作するように変換されています。

学習にはGoogle Colabを使用しています。

追加のチュートリアルやソースは、後日https://github.com/gorkemgoknarに公開されます。

現在の精度は33%、パープレキシティは51.88です。

利用可能なモデル:

• gpt2-small-tuned-tr
• gpt2-small-turkish-writer

🚀 クイックスタート

✨ 主な機能

このモデルは、トルコ語の自然言語生成タスクに特化しており、文章の生成や続きの予測などのタスクに使用できます。

📦 インストール

from transformers import AutoTokenizer, AutoModelWithLMHead
import torch

tokenizer = AutoTokenizer.from_pretrained("gorkemgoknar/gpt2-small-turkish")
model = AutoModelWithLMHead.from_pretrained("gorkemgoknar/gpt2-small-turkish")

# Get sequence length max of 1024
tokenizer.model_max_length=1024 

model.eval()  # disable dropout (or leave in train mode to finetune)

💻 使用例

基本的な使用法

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# model output
outputs = model(**inputs, labels=inputs["input_ids"])
loss, logits = outputs[:2]
predicted_index = torch.argmax(logits[0, -1, :]).item()
predicted_text = tokenizer.decode([predicted_index])

# results
print('input text:', text)
print('predicted text:', predicted_text)

# input text: 
# predicted text:  

高度な使用法

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# model output using Top-k sampling text generation method
sample_outputs = model.generate(inputs.input_ids,
                                pad_token_id=50256,
                                do_sample=True, 
                                max_length=50, # put the token number you want
                                top_k=40,
                                num_return_sequences=1)

# generated sequence
for i, sample_output in enumerate(sample_outputs):
    print(">> Generated text {}\\\\
\\\\
{}".format(i+1, tokenizer.decode(sample_output.tolist())))

# >> Generated text
#    

📚 ドキュメント

意図された用途と制限

このモデルの学習データはトルコ語のウィキペディア記事です。インターネット上の未フィルタリングのコンテンツが含まれており、中立性に欠ける可能性があります。

🔧 技術詳細

学習データ

2020年10月28日時点のトルコ語のウィキペディア記事のダンプを使用しています。

評価結果

#エポック0はTesla T4で、それ以外はV100で行われました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

その他の情報