Turkcell LLM 7b V1

🚀 Turkcell-LLM-7b-v1

Turkcell-LLM-7b-v1是基於Mistral的土耳其語大語言模型的擴展版本。它在包含50億個標記的經過清理的土耳其語原始數據集上進行訓練，為土耳其語處理提供強大支持。

🚀 快速開始

本模型是基於Mistral的土耳其語大語言模型（LLM）的擴展版本。它在包含50億個標記的經過清理的土耳其語原始數據集上進行訓練。訓練過程最初採用了DORA方法，隨後使用從各種開源和內部資源創建的土耳其語指令集，通過LORA方法進行微調。

✨ 主要特性

• 強大基礎：基於Mistral 7B大語言模型構建。
• 語言適配：分詞器專門針對土耳其語進行了擴展。
• 豐富數據：使用包含50億個標記的清理後的土耳其語原始數據和自定義土耳其語指令集進行訓練。
• 靈活訓練：訓練過程先採用DORA方法，後使用LORA方法進行微調。

📚 詳細文檔

模型詳情

DORA配置

• lora_alpha: 128
• lora_dropout: 0.05
• r: 64
• target_modules: "all-linear"

LORA微調配置

• lora_alpha: 128
• lora_dropout: 0.05
• r: 256
• target_modules: "all-linear"

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")

messages = [
    {"role": "user", "content": "Türkiye'nin başkenti neresidir?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

eos_token = tokenizer("<|im_end|>",add_special_tokens=False)["input_ids"][0]

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, 
                               max_new_tokens=1024, 
                               do_sample=True, 
                               eos_token_id=eos_token)
                               
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

📄 許可證

本項目採用Apache-2.0許可證。