Zurich 7B GCv2 100k

🚀 Zurich 7B GammaCorpus v2-100k

基於GammaCorpus數據集微調的Qwen 2.5模型

本模型是對阿里巴巴的Qwen 2.5 7B Instruct模型進行微調得到的。Zurich旨在超越其他同等規模的模型，同時展示GammaCorpus v2-100k數據集的優勢。

🚀 快速開始

環境要求

強烈建議使用最新版本的 transformers 包。可以通過以下 pip 命令進行安裝：

pip install transformers

快速上手

以下是一個使用 apply_chat_template 的代碼片段，展示瞭如何加載分詞器和模型，以及如何生成內容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rubenroy/Zurich-7B-GCv2-100k"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How tall is the Eiffel tower?"
messages = [
    {"role": "system", "content": "You are Zurich, an AI assistant built on the Qwen 2.5 7B model developed by Alibaba Cloud, and fine-tuned by Ruben Roy. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

Zurich 7B GammaCorpus v2-100k 是對阿里巴巴的 Qwen 2.5 7B Instruct 模型進行微調得到的，旨在超越其他同等規模的模型，同時展示 GammaCorpus v2-100k 數據集的優勢。

📚 詳細文檔

模型詳情

訓練詳情

Zurich-7B-GCv2-100k 在1個T4 GPU上進行了約70分鐘的微調，並使用 Unsloth 框架進行訓練。該模型共訓練了 60個週期。

關於GammaCorpus

本模型以及所有Zurich模型均使用GammaCorpus進行訓練。GammaCorpus是HuggingFace上的一個數據集，包含結構化和經過篩選的多輪對話。GammaCorpus有4個不同大小的版本，具體如下：

GammaCorpus v1

• 10k 未過濾
• 50k 未過濾
• 70k 未過濾

GCv1數據集集合鏈接： https://huggingface.co/collections/rubenroy/gammacorpus-v1-67935e4e52a04215f15a7a60

GammaCorpus v2

• 10k
• 50k
• 100k <-- 這是您正在使用的Zurich模型所使用的GammaCorpus v2版本
• 500k
• 1m
• 5m

GCv2數據集集合鏈接： https://huggingface.co/collections/rubenroy/gammacorpus-v2-67935e895e1259c404a579df

GammaCorpus CoT

• 數學 170k

GC-CoT數據集集合鏈接： https://huggingface.co/collections/rubenroy/gammacorpus-cot-6795bbc950b62b1ced41d14f

GammaCorpus QA

• 事實 450k

GC-QA數據集集合鏈接： https://huggingface.co/collections/rubenroy/gammacorpus-qa-679857017bb3855234c1d8c7

GammaCorpus完整數據集集合鏈接 點擊此處。

已知侷限性

⚠️ 重要提示

我們已盡力減少模型的偏差，但仍需注意模型可能會生成一些有偏差的答案。

許可證信息

本模型遵循 Apache 2.0許可證 發佈。有關使用權限和限制，請參考該許可證。