Zurich 14B GCv2 10k

🚀 苏黎世14B GammaCorpus v2-10k

基于GammaCorpus数据集微调的Qwen 2.5模型

苏黎世14B GammaCorpus v2-10k是对阿里巴巴的Qwen 2.5 14B Instruct模型进行微调后的版本。该模型旨在超越其他同等规模的模型，同时展示GammaCorpus v2-10k数据集的优势。

🚀 快速开始

要求

我们强烈建议您使用最新版本的transformers包。您可以通过以下pip命令进行安装：

pip install transformers

快速上手

以下是一个使用apply_chat_template的代码片段，展示了如何加载分词器和模型，以及如何生成内容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rubenroy/Zurich-14B-GCv2-10k"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How tall is the Eiffel tower?"
messages = [
    {"role": "system", "content": "You are Zurich, an AI assistant built on the Qwen 2.5 14B model developed by Alibaba Cloud, and fine-tuned by Ruben Roy. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

• 基于阿里巴巴的Qwen 2.5 14B Instruct模型进行微调，在同等规模模型中表现更优。
• 展示了GammaCorpus v2-10k数据集的优势。

📦 安装指南

使用pip安装最新版本的transformers包：

pip install transformers

📚 详细文档

模型详情

训练详情

Zurich-14B-GCv2-10k使用1块A100 GPU进行了约10分钟的微调，并使用Unsloth框架进行训练，共训练了60个周期。

关于GammaCorpus

本模型以及所有苏黎世模型均使用GammaCorpus进行训练。GammaCorpus是HuggingFace上的一个数据集，包含结构化且经过筛选的多轮对话。GammaCorpus有4个不同版本，每个版本有不同的规模，具体如下：

GammaCorpus v1

• 10k 未筛选
• 50k 未筛选
• 70k 未筛选

GCv1数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-v1-67935e4e52a04215f15a7a60

GammaCorpus v2

• 10k <-- 您正在使用的苏黎世模型就是基于此版本的GammaCorpus v2进行训练的。
• 50k
• 100k
• 500k
• 1m
• 5m

GCv2数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-v2-67935e895e1259c404a579df

GammaCorpus CoT

• 数学 170k

GC-CoT数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-cot-6795bbc950b62b1ced41d14f

GammaCorpus QA

• 事实 450k

GC-QA数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-qa-679857017bb3855234c1d8c7

GammaCorpus完整数据集集合链接：点击此处

已知限制

• 偏差：我们已尽力减少偏差，但请注意，模型仍可能生成一些有偏差的答案。

附加信息

许可信息

该模型遵循**Apache 2.0许可协议**。请参考许可协议了解使用权限和限制。