Gpt2 Turkish 128 Token GGUF

🚀 cenkersisman/gpt2-turkish-128-token-GGUF

本項目提供了來自 cenkersisman 的 gpt2-turkish-128-token 模型的量化 GGUF 文件，旨在方便用戶使用該模型進行文本生成任務。

📦 模型信息

量化模型文件

📚 原始模型卡片

模型介紹

GPT-2 土耳其語模型是基於 GPT-2 架構專門為土耳其語定製的語言模型。它能夠根據給定的起始文本生成類似人類的文本，並且在一個龐大的土耳其語文本數據集上進行了訓練。

模型訓練使用了包含 9 億個字符的維基百科數據集。訓練集中的句子最多由 128 個詞元（詞元 = 詞根和詞綴）組成，因此生成的句子長度有限。模型使用了適合土耳其語音節結構的分詞器，並在 750 萬步、約 154 個週期內完成訓練。訓練過程使用了具有 4GB 內存的 Nvidia Geforce RTX 3050 GPU，同時還藉助了 16GB 的共享 GPU，訓練期間總共使用了 20GB 的內存。

模型使用方法

⚠️ 重要提示

由於模型對大小寫敏感，輸入提示必須全部使用小寫字母。

# 使用模型進行推理的示例代碼

from transformers import GPT2Tokenizer, GPT2LMHeadModel

model_name = "cenkersisman/gpt2-turkish-128-token"
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

prompt = "okyanusun derinliklerinde bulunan"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, pad_token_id=tokenizer.eos_token_id)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

訓練過程曲線

侷限性和偏差

該模型作為自迴歸語言模型進行訓練，其基本功能是接收文本序列並預測下一個詞元。儘管語言模型廣泛應用於多種任務，但此模型仍存在許多未知情況。

模型在包含髒話、露骨內容和不良行為文本的數據集上進行訓練，因此根據使用場景的不同，可能會生成社會難以接受的文本。

與所有語言模型一樣，很難預先預測該模型對特定輸入的響應，並且可能會在無預警的情況下產生冒犯性內容。建議在發佈結果之前，由人工對輸出進行審查和過濾，以去除不必要的內容並提高結果質量。