🚀 OpenR1-Qwen-7B-Turkish 🚀
這是基於 Qwen2.5-Instruct 在 WiroAI/dolphin-r1-turkish 數據集上微調得到的模型。該模型旨在解決一些現有模型在特定語言推理和低資源語言處理方面的問題,為社區提供更優質的開源模型。
✨ 主要特性
- 語言推理優化:DeepSeek 的蒸餾模型有時會在使用其他語言提示時用中文或英文進行推理,而本模型在土耳其語推理方面有顯著提升,能更清晰地用土耳其語進行思考和推理。
- 低資源語言支持:當前開源模型在相對低資源語言上仍有提升空間,本模型致力於改善這一狀況,為低資源語言的處理提供更好的解決方案。
- 社區貢獻:團隊有動力重現 R1 模型併為社區做出貢獻,推動開源模型的發展。
📦 安裝指南
暫未提供相關安裝步驟。
💻 使用示例
基礎用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "OpenR1-Qwen-7B-Turkish"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "$4x+5 = 6x+7$ denklemini sağlayan $x$ değerini bul."
messages = [
{"role": "system", "content": "Lütfen adım adım düşün ve cevapla."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=4096
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
📚 詳細文檔
🟢 概述
- DeepSeek 的蒸餾模型有時會在使用其他語言提示時用中文或英文進行推理。
- 開源模型在相對低資源語言上仍有提升空間。
- 團隊有動力重現 R1 模型併為社區做出貢獻。
🟢 訓練
- 模型在 WiroAI/dolphin-r1-turkish 數據集上訓練了 2 個週期。使用的學習率為 1e - 5,最大序列長度為 4096。訓練採用餘弦學習率調度,有 10% 的預熱階段。
- 訓練在 8xA6000 ADA 集群上進行,耗時 3 天。
- 通常,R1 團隊使用 lighteval 將 OpenR1 模型的性能與 DeepSeek - Distill - Qwen - 7B 和 OpenThinker - 7B 進行比較。然而,這些數據集主要面向數學領域,為避免得出不恰當的結論,默認結果暫不公開。
訓練和評估代碼可在以下鏈接找到:https://github.com/huggingface/open-r1/
🟡 評估
- 推理過程有輕微改進。與 DeepSeek 的推理模型相比,本模型在土耳其語思考方面更加清晰。
- 本模型是為實驗目的而訓練的,歡迎進行任何基準評估。請注意,與普通模型相比,該模型會生成更多的標記,推理過程中會消耗更多的顯存。
- 如果您願意評估此模型,請確保允許模型生成足夠的標記。限制模型輸出少於 4000 個標記的生成請求會導致結果不佳。
- 團隊相信,通過共享和實驗,民主化和文化上改進的開源模型將不斷發展!
🔧 技術細節
- 訓練數據:使用 WiroAI/dolphin-r1-turkish 數據集進行訓練。
- 訓練參數:訓練 2 個週期,學習率 1e - 5,最大序列長度 4096,採用餘弦學習率調度,10% 預熱階段。
- 訓練環境:在 8xA6000 ADA 集群上訓練 3 天。
📄 許可證
本模型採用 Apache 2.0 許可證。您可以在以下鏈接查看許可證詳情:License
🤗 社區
感謝 Huggingface 工作人員以及所有為 Open - R1 項目做出貢獻的人!
引用
@article{WiroAI,
title={WiroAI/OpenR1-Qwen-7B-Turkish},
author={Abdullah Bezir, Cengiz Asmazoğlu},
year={2025},
url={https://huggingface.co/WiroAI/OpenR1-Qwen-7B-Turkish}
}
⚠️ 重要提示
- 本模型是為實驗目的而訓練的,與普通模型相比,會生成更多的標記,推理過程中會消耗更多的顯存。
- 如果您要評估此模型,請確保允許模型生成足夠的標記,限制模型輸出少於 4000 個標記的生成請求會導致結果不佳。
💡 使用建議
在使用模型進行推理時,儘量為模型提供足夠的顯存和生成標記的空間,以獲得更好的推理結果。