Turkish Deepseek

🚀 土耳其DeepSeek模型

該模型是一個基於DeepSeek架構，在土耳其語文本上訓練的語言模型。它包含了多頭潛在注意力（Multi-head Latent Attention，MLA）和專家混合（Mixture of Experts，MoE）技術。

✨ 主要特性

• 參數數量：約1.92億
• 詞彙表：50,256個詞元
• 上下文長度：256個詞元
• 語言：土耳其語（tr）
• 架構：採用MLA + MoE的DeepSeek架構

🔧 技術細節

• 隱藏維度：1024
• 層數：6層（1層密集層 + 5層MoE層）
• 注意力頭：8個
• MoE專家：4個路由專家 + 2個共享專家
• 活躍專家：每個詞元2個

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加載模型和分詞器
model = AutoModelForCausalLM.from_pretrained("your-username/turkish-deepseek", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("your-username/turkish-deepseek")

# 文本生成
prompt = "Merhaba dünya"
inputs = tokenizer(prompt, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_length=50,
        temperature=0.7,
        do_sample=True,
        pad_token_id=tokenizer.pad_token_id
    )

generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)

原實現用法

# 使用原實現
import torch
import sentencepiece as spm

# 加載分詞器
tokenizer = spm.SentencePieceProcessor()
tokenizer.load("tokenizer.model")

# 加載模型檢查點
checkpoint = torch.load("pytorch_model.bin", map_location="cpu")

# 使用原模型類加載
# from your_original_implementation import Transformer, ModelArgs
# model = Transformer(args)
# model.load_state_dict(checkpoint)

📚 詳細文檔

訓練數據

• 來源：土耳其語維基百科
• 分詞方式：SentencePiece字節對編碼（BPE）
• 詞彙表：針對土耳其語進行了優化

模型架構

多頭潛在注意力（Multi-head Latent Attention，MLA）

• 壓縮鍵值表示（秩為256）
• 獨立的無位置和位置編碼組件
• 長序列的高效內存使用

專家混合（Mixture of Experts，MoE）

• 前2路由和負載均衡
• 常見模式的共享專家
• 稀疏激活減少計算量

帶YaRN縮放的旋轉位置編碼（RoPE with YaRN Scaling）

• 頻率縮放的旋轉位置嵌入
• 超出訓練長度的擴展上下文支持
• 基礎頻率：10000.0

性能

• 推理：針對土耳其語文本生成進行了優化
• 內存：MLA減少了鍵值緩存大小
• 速度：MoE通過可控計算實現更大容量

侷限性

• 主要在土耳其語維基百科上訓練（領域覆蓋有限）
• 上下文長度限制為256個詞元
• 可能表現出訓練數據中存在的偏差

引用

如果使用此模型，請進行引用：

@misc{turkish-deepseek,
  title={Turkish DeepSeek Language Model},
  author={Your Name},
  year={2024},
  url={https://huggingface.co/your-username/turkish-deepseek}
}

📄 許可證

本項目採用Apache 2.0許可證。

模型卡片作者

[Your Name]