Zurich 7B GCv2 100k

🚀 Zurich 7B GammaCorpus v2-100k

基于GammaCorpus数据集微调的Qwen 2.5模型

本模型是对阿里巴巴的Qwen 2.5 7B Instruct模型进行微调得到的。Zurich旨在超越其他同等规模的模型，同时展示GammaCorpus v2-100k数据集的优势。

🚀 快速开始

环境要求

强烈建议使用最新版本的 transformers 包。可以通过以下 pip 命令进行安装：

pip install transformers

快速上手

以下是一个使用 apply_chat_template 的代码片段，展示了如何加载分词器和模型，以及如何生成内容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rubenroy/Zurich-7B-GCv2-100k"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How tall is the Eiffel tower?"
messages = [
    {"role": "system", "content": "You are Zurich, an AI assistant built on the Qwen 2.5 7B model developed by Alibaba Cloud, and fine-tuned by Ruben Roy. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

Zurich 7B GammaCorpus v2-100k 是对阿里巴巴的 Qwen 2.5 7B Instruct 模型进行微调得到的，旨在超越其他同等规模的模型，同时展示 GammaCorpus v2-100k 数据集的优势。

📚 详细文档

模型详情

训练详情

Zurich-7B-GCv2-100k 在1个T4 GPU上进行了约70分钟的微调，并使用 Unsloth 框架进行训练。该模型共训练了 60个周期。

关于GammaCorpus

本模型以及所有Zurich模型均使用GammaCorpus进行训练。GammaCorpus是HuggingFace上的一个数据集，包含结构化和经过筛选的多轮对话。GammaCorpus有4个不同大小的版本，具体如下：

GammaCorpus v1

• 10k 未过滤
• 50k 未过滤
• 70k 未过滤

GCv1数据集集合链接： https://huggingface.co/collections/rubenroy/gammacorpus-v1-67935e4e52a04215f15a7a60

GammaCorpus v2

• 10k
• 50k
• 100k <-- 这是您正在使用的Zurich模型所使用的GammaCorpus v2版本
• 500k
• 1m
• 5m

GCv2数据集集合链接： https://huggingface.co/collections/rubenroy/gammacorpus-v2-67935e895e1259c404a579df

GammaCorpus CoT

• 数学 170k

GC-CoT数据集集合链接： https://huggingface.co/collections/rubenroy/gammacorpus-cot-6795bbc950b62b1ced41d14f

GammaCorpus QA

• 事实 450k

GC-QA数据集集合链接： https://huggingface.co/collections/rubenroy/gammacorpus-qa-679857017bb3855234c1d8c7

GammaCorpus完整数据集集合链接 点击此处。

已知局限性

⚠️ 重要提示

我们已尽力减少模型的偏差，但仍需注意模型可能会生成一些有偏差的答案。

许可证信息

本模型遵循 Apache 2.0许可证 发布。有关使用权限和限制，请参考该许可证。