Turkcell LLM 7b V1

🚀 Turkcell-LLM-7b-v1

このモデルは、トルコ語用のMistralベースの大規模言語モデル（LLM）の拡張バージョンです。50億トークンを含むクリーンなトルコ語の生データセットで学習されました。学習プロセスでは、最初にDORAメソッドを使用し、その後、様々なオープンソースと内部リソースから作成されたトルコ語の命令セットを使用して、LORAメソッドで微調整を行いました。

✨ 主な機能

このモデルは、トルコ語に特化した大規模言語モデルで、以下のような特徴を持っています。

• 高度なトルコ語対応：トルコ語の生データセットで学習され、トルコ語の表現や文法に対応しています。
• 柔軟な学習方法：DORAメソッドとLORAメソッドを組み合わせて学習され、効率的なモデル構築が行われています。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")

messages = [
    {"role": "user", "content": "Türkiye'nin başkenti neresidir?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

eos_token = tokenizer("<|im_end|>",add_special_tokens=False)["input_ids"][0]

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, 
                               max_new_tokens=1024, 
                               do_sample=True, 
                               eos_token_id=eos_token)
                               
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

📚 ドキュメント

モデルの詳細

DORA設定

• lora_alpha: 128
• lora_dropout: 0.05
• r: 64
• target_modules: "all-linear"

LORA微調整設定

• lora_alpha: 128
• lora_dropout: 0.05
• r: 256
• target_modules: "all-linear"

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。