Gpt2 Small Turkish

🚀 土耳其语微调GPT2模型

本项目基于GPT2-Small英文模型，使用2020年10月28日的土耳其语维基百科文章进行微调与额外训练。该模型可用于自然语言处理任务，为土耳其语相关的文本生成等应用提供支持。

🚀 快速开始

安装

from transformers import AutoTokenizer, AutoModelWithLMHead
import torch

tokenizer = AutoTokenizer.from_pretrained("gorkemgoknar/gpt2-small-turkish")
model = AutoModelWithLMHead.from_pretrained("gorkemgoknar/gpt2-small-turkish")

# Get sequence length max of 1024
tokenizer.model_max_length=1024 

model.eval()  # disable dropout (or leave in train mode to finetune)

生成一个单词

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# model output
outputs = model(**inputs, labels=inputs["input_ids"])
loss, logits = outputs[:2]
predicted_index = torch.argmax(logits[0, -1, :]).item()
predicted_text = tokenizer.decode([predicted_index])

# results
print('input text:', text)
print('predicted text:', predicted_text)

# input text: 
# predicted text:  

生成完整序列

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# model output using Top-k sampling text generation method
sample_outputs = model.generate(inputs.input_ids,
                                pad_token_id=50256,
                                do_sample=True, 
                                max_length=50, # put the token number you want
                                top_k=40,
                                num_return_sequences=1)

# generated sequence
for i, sample_output in enumerate(sample_outputs):
    print(">> Generated text {}\\\\
\\\\
{}".format(i+1, tokenizer.decode(sample_output.tolist())))

# >> Generated text
#    

✨ 主要特性

• 微调模型：基于GPT2-Small英文模型，使用土耳其语维基百科文章进行微调，更适配土耳其语相关任务。
• 多用途：可用于文本生成、单词预测等自然语言处理任务。
• 实时演示：提供基于该模型的实时演示，可在 https://www.metayazar.com/ 查看。
• 微调写作器：有基于此模型的微调写作器，地址为 https://huggingface.co/gorkemgoknar/gpt2-turkish-writer。

📦 安装指南

使用以下代码安装所需的库和加载模型：

from transformers import AutoTokenizer, AutoModelWithLMHead
import torch

tokenizer = AutoTokenizer.from_pretrained("gorkemgoknar/gpt2-small-turkish")
model = AutoModelWithLMHead.from_pretrained("gorkemgoknar/gpt2-small-turkish")

# Get sequence length max of 1024
tokenizer.model_max_length=1024 

model.eval()  # disable dropout (or leave in train mode to finetune)

💻 使用示例

基础用法

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# model output
outputs = model(**inputs, labels=inputs["input_ids"])
loss, logits = outputs[:2]
predicted_index = torch.argmax(logits[0, -1, :]).item()
predicted_text = tokenizer.decode([predicted_index])

# results
print('input text:', text)
print('predicted text:', predicted_text)

# input text: 
# predicted text:  

高级用法

# input sequence
text = "Bu yazıyı bilgisayar yazdı."
inputs = tokenizer(text, return_tensors="pt")

# model output using Top-k sampling text generation method
sample_outputs = model.generate(inputs.input_ids,
                                pad_token_id=50256,
                                do_sample=True, 
                                max_length=50, # put the token number you want
                                top_k=40,
                                num_return_sequences=1)

# generated sequence
for i, sample_output in enumerate(sample_outputs):
    print(">> Generated text {}\\\\
\\\\
{}".format(i+1, tokenizer.decode(sample_output.tolist())))

# >> Generated text
#    

📚 详细文档

模型描述

这是一个基于GPT2-Small英文的模型，截至2020年10月28日，使用土耳其语维基百科文章进行了微调与额外训练。

• 实时演示：https://www.metayazar.com/
• 微调写作器：https://huggingface.co/gorkemgoknar/gpt2-turkish-writer
• 参考教程：https://github.com/piegu/fastai-projects/blob/master/finetuning-English-GPT2-any-language-Portuguese-HuggingFace-fastaiv2.ipynb
• 代码适配：代码已转换为适用于Fastai 2.X。
• 训练环境：使用Google Colab进行训练。
• 后续教程和源码：后续将在 https://github.com/gorkemgoknar 提供。

预期用途与限制

预期用途

该模型可用于土耳其语的文本生成、单词预测等自然语言处理任务。

限制和偏差

该模型的训练数据来自土耳其语维基百科，其中包含大量未经过滤的互联网内容，远非中立。

训练数据

使用2020年10月28日的土耳其语维基百科文章转储作为训练数据。

评估结果

注：第0轮在Tesla T4上训练，其他轮次在V100上训练。

🔧 技术细节

本模型基于GPT2-Small英文模型，使用土耳其语维基百科文章进行微调。训练过程中，代码适配了Fastai 2.X版本，并使用Google Colab进行训练。评估指标包括准确率和困惑度，通过多轮训练不断优化模型性能。

📄 许可证

本项目采用Apache-2.0许可证。

📦 可用模型

• gpt2-small-tuned-tr
• gpt2-small-turkish-writer