Turkcell LLM 7b V1

🚀 Turkcell-LLM-7b-v1

Turkcell-LLM-7b-v1是基于Mistral的土耳其语大语言模型的扩展版本。它在包含50亿个标记的经过清理的土耳其语原始数据集上进行训练，为土耳其语处理提供强大支持。

🚀 快速开始

本模型是基于Mistral的土耳其语大语言模型（LLM）的扩展版本。它在包含50亿个标记的经过清理的土耳其语原始数据集上进行训练。训练过程最初采用了DORA方法，随后使用从各种开源和内部资源创建的土耳其语指令集，通过LORA方法进行微调。

✨ 主要特性

• 强大基础：基于Mistral 7B大语言模型构建。
• 语言适配：分词器专门针对土耳其语进行了扩展。
• 丰富数据：使用包含50亿个标记的清理后的土耳其语原始数据和自定义土耳其语指令集进行训练。
• 灵活训练：训练过程先采用DORA方法，后使用LORA方法进行微调。

📚 详细文档

模型详情

DORA配置

• lora_alpha: 128
• lora_dropout: 0.05
• r: 64
• target_modules: "all-linear"

LORA微调配置

• lora_alpha: 128
• lora_dropout: 0.05
• r: 256
• target_modules: "all-linear"

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")

messages = [
    {"role": "user", "content": "Türkiye'nin başkenti neresidir?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

eos_token = tokenizer("<|im_end|>",add_special_tokens=False)["input_ids"][0]

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, 
                               max_new_tokens=1024, 
                               do_sample=True, 
                               eos_token_id=eos_token)
                               
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

📄 许可证

本项目采用Apache-2.0许可证。