Gpt2 Turkish 128 Token GGUF

🚀 cenkersisman/gpt2-turkish-128-token-GGUF

本项目提供了来自 cenkersisman 的 gpt2-turkish-128-token 模型的量化 GGUF 文件，旨在方便用户使用该模型进行文本生成任务。

📦 模型信息

量化模型文件

📚 原始模型卡片

模型介绍

GPT-2 土耳其语模型是基于 GPT-2 架构专门为土耳其语定制的语言模型。它能够根据给定的起始文本生成类似人类的文本，并且在一个庞大的土耳其语文本数据集上进行了训练。

模型训练使用了包含 9 亿个字符的维基百科数据集。训练集中的句子最多由 128 个词元（词元 = 词根和词缀）组成，因此生成的句子长度有限。模型使用了适合土耳其语音节结构的分词器，并在 750 万步、约 154 个周期内完成训练。训练过程使用了具有 4GB 内存的 Nvidia Geforce RTX 3050 GPU，同时还借助了 16GB 的共享 GPU，训练期间总共使用了 20GB 的内存。

模型使用方法

⚠️ 重要提示

由于模型对大小写敏感，输入提示必须全部使用小写字母。

# 使用模型进行推理的示例代码

from transformers import GPT2Tokenizer, GPT2LMHeadModel

model_name = "cenkersisman/gpt2-turkish-128-token"
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

prompt = "okyanusun derinliklerinde bulunan"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, pad_token_id=tokenizer.eos_token_id)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

训练过程曲线

局限性和偏差

该模型作为自回归语言模型进行训练，其基本功能是接收文本序列并预测下一个词元。尽管语言模型广泛应用于多种任务，但此模型仍存在许多未知情况。

模型在包含脏话、露骨内容和不良行为文本的数据集上进行训练，因此根据使用场景的不同，可能会生成社会难以接受的文本。

与所有语言模型一样，很难预先预测该模型对特定输入的响应，并且可能会在无预警的情况下产生冒犯性内容。建议在发布结果之前，由人工对输出进行审查和过滤，以去除不必要的内容并提高结果质量。