Gpt2 Turkish Writer

🚀 GPT2-Smallベースのトルコ語AIライター

このモデルは、トルコ語の文章生成に特化したAIライターです。GPT2-Smallモデルをベースに、トルコ語のWikipedia記事や古典小説などのデータでファインチューニングされています。

✨ 主な機能

• 高度な文章生成: トルコ語の文章を自然に生成できます。
• 多様なデータセット: Wikipediaのトルコ語記事と400冊以上の古典小説や戯曲で訓練されています。
• 高精度: 現在の精度は36.3%、パープレキシティは44.75です。

📦 インストール

from transformers import AutoTokenizer, AutoModelWithLMHead
import torch

tokenizer = AutoTokenizer.from_pretrained("gorkemgoknar/gpt2-turkish-writer")
model = AutoModelWithLMHead.from_pretrained("gorkemgoknar/gpt2-turkish-writer")

# Get sequence length max of 1024
tokenizer.model_max_length=1024 

model.eval()  # disable dropout (or leave in train mode to finetune)

💻 使用例

基本的な使用法

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt") 

# model output
outputs = model(**inputs, labels=inputs["input_ids"])
loss, logits = outputs[:2]
predicted_index = torch.argmax(logits[0, -1, :]).item()
predicted_text = tokenizer.decode([predicted_index])

# results
print('input text:', text)
print('predicted text:', predicted_text)

高度な使用法

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# model output using Top-k sampling text generation method
sample_outputs = model.generate(inputs.input_ids,
                                pad_token_id=50256,
                                do_sample=True, 
                                max_length=50, # put the token number you want
                                top_k=40,
                                num_return_sequences=1)

# generated sequence
for i, sample_output in enumerate(sample_outputs):
    print(">> Generated text {}\n\n{}".format(i+1, tokenizer.decode(sample_output.tolist())))

📚 ドキュメント

モデルの説明

このモデルは、gpt2-small-turkishのファインチューニングされた拡張版です。2020年10月28日のトルコ語Wikipedia記事ダンプに加えて、400冊以上のトルコ語の古典小説や戯曲（ドストエフスキー、シェイクスピア、デュマなどの作品を含む）で訓練されています。

ベースとなる作業は、このページのPierre Guillouのチュートリアルに基づいて行われました。トルコ語はポルトガル語とは異なり英語との関係が近くないため、最後の2層ではなく最後の3層が訓練されています。コードはFastai 2.Xで動作するように変換されており、Google Colabを使用して訓練されています。

想定される用途と制限

制限とバイアス

このモデルの訓練データはトルコ語のWikipediaと書籍から収集されています。これにはインターネット上の多くの未フィルタリングのコンテンツが含まれており、中立性に欠ける可能性があります。また、書籍についてはあまり前処理が行われていないため、場合によっては章名やページ番号が表示されることがあります。これは現在進行中の作業です。

訓練データ

• 2020年10月28日時点のトルコ語Wikipedia記事ダンプ
• 400冊以上のトルコ語古典小説データセット

評価結果

注: 1サイクルルールの訓練が使用されており、エポックは異なる時間で行われています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

モデルの入手先

• gpt2-small-tuned-tr
• gpt2-small-turkish-writer

デモ

CPU推論を使用したデモは、こちらで利用できます。