Zurich 14B GCv2 10k

🚀 蘇黎世14B GammaCorpus v2-10k

基於GammaCorpus數據集微調的Qwen 2.5模型

蘇黎世14B GammaCorpus v2-10k是對阿里巴巴的Qwen 2.5 14B Instruct模型進行微調後的版本。該模型旨在超越其他同等規模的模型，同時展示GammaCorpus v2-10k數據集的優勢。

🚀 快速開始

要求

我們強烈建議您使用最新版本的transformers包。您可以通過以下pip命令進行安裝：

pip install transformers

快速上手

以下是一個使用apply_chat_template的代碼片段，展示瞭如何加載分詞器和模型，以及如何生成內容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rubenroy/Zurich-14B-GCv2-10k"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How tall is the Eiffel tower?"
messages = [
    {"role": "system", "content": "You are Zurich, an AI assistant built on the Qwen 2.5 14B model developed by Alibaba Cloud, and fine-tuned by Ruben Roy. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

• 基於阿里巴巴的Qwen 2.5 14B Instruct模型進行微調，在同等規模模型中表現更優。
• 展示了GammaCorpus v2-10k數據集的優勢。

📦 安裝指南

使用pip安裝最新版本的transformers包：

pip install transformers

📚 詳細文檔

模型詳情

訓練詳情

Zurich-14B-GCv2-10k使用1塊A100 GPU進行了約10分鐘的微調，並使用Unsloth框架進行訓練，共訓練了60個週期。

關於GammaCorpus

本模型以及所有蘇黎世模型均使用GammaCorpus進行訓練。GammaCorpus是HuggingFace上的一個數據集，包含結構化且經過篩選的多輪對話。GammaCorpus有4個不同版本，每個版本有不同的規模，具體如下：

GammaCorpus v1

• 10k 未篩選
• 50k 未篩選
• 70k 未篩選

GCv1數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus-v1-67935e4e52a04215f15a7a60

GammaCorpus v2

• 10k <-- 您正在使用的蘇黎世模型就是基於此版本的GammaCorpus v2進行訓練的。
• 50k
• 100k
• 500k
• 1m
• 5m

GCv2數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus-v2-67935e895e1259c404a579df

GammaCorpus CoT

• 數學 170k

GC-CoT數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus-cot-6795bbc950b62b1ced41d14f

GammaCorpus QA

• 事實 450k

GC-QA數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus-qa-679857017bb3855234c1d8c7

GammaCorpus完整數據集集合鏈接：點擊此處

已知限制

• 偏差：我們已盡力減少偏差，但請注意，模型仍可能生成一些有偏差的答案。

附加信息

許可信息

該模型遵循**Apache 2.0許可協議**。請參考許可協議瞭解使用權限和限制。