Zurich 14B GCv2 50k

🚀 蘇黎世14B GammaCorpus v2 - 50k

基於GammaCorpus數據集微調的Qwen 2.5模型

本項目的蘇黎世14B GammaCorpus v2 - 50k模型，是對阿里巴巴Qwen 2.5 14B Instruct模型的微調版本。它旨在超越同等規模的其他模型，同時展示GammaCorpus v2 - 50k數據集的優勢。

🚀 快速開始

依賴要求

我們強烈建議您使用最新版本的transformers包。您可以通過以下pip命令進行安裝：

pip install transformers

快速上手

以下是一個使用apply_chat_template的代碼片段，展示瞭如何加載分詞器和模型，以及如何生成內容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rubenroy/Zurich-14B-GCv2-50k"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How tall is the Eiffel tower?"
messages = [
    {"role": "system", "content": "You are Zurich, an AI assistant built on the Qwen 2.5 14B model developed by Alibaba Cloud, and fine-tuned by Ruben Roy. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

蘇黎世14B GammaCorpus v2 - 50k模型在同等規模的模型中表現出色，通過在GammaCorpus數據集上進行微調，能夠更好地處理多輪對話等任務。

📦 安裝指南

請按照上述快速開始部分的依賴要求進行安裝。

💻 使用示例

基礎用法

上述快速上手部分的代碼示例展示瞭如何加載模型、分詞器，並進行內容生成。

📚 詳細文檔

模型詳情

訓練詳情

蘇黎世 - 14B - GCv2 - 50k模型使用1塊A100 GPU進行了約20分鐘的微調，並使用Unsloth框架進行訓練，共訓練了60個週期。

關於GammaCorpus

本模型以及所有蘇黎世系列模型均使用GammaCorpus數據集進行訓練。GammaCorpus是HuggingFace上的一個數據集，包含經過結構化和過濾的多輪對話。GammaCorpus有4個不同版本，每個版本有不同的規模，具體如下：

GammaCorpus v1

• 10k未過濾
• 50k未過濾
• 70k未過濾

GCv1數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus - v1 - 67935e4e52a04215f15a7a60

GammaCorpus v2

• 10k
• 50k <-- 您正在使用的蘇黎世模型就是基於此版本的GammaCorpus v2進行訓練的。
• 100k
• 500k
• 1m
• 5m

GCv2數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus - v2 - 67935e895e1259c404a579df

GammaCorpus CoT

• 數學170k

GC - CoT數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus - cot - 6795bbc950b62b1ced41d14f

GammaCorpus QA

• 事實450k

GC - QA數據集集合鏈接：
https://huggingface.co/collections/rubenroy/gammacorpus - qa - 679857017bb3855234c1d8c7

完整GammaCorpus數據集集合鏈接可點擊[此處](https://huggingface.co/collections/rubenroy/gammacorpus - 67765abf607615a0eb6d61ac)。

🔧 技術細節

模型採用了帶有RoPE、SwiGLU、RMSNorm和Attention QKV偏差的Transformer架構，這些技術的應用有助於提升模型的性能和處理能力。

📄 許可證

本模型遵循**[Apache 2.0許可證](https://www.apache.org/licenses/LICENSE - 2.0)**。請參考該許可證瞭解使用權限和限制。

⚠️ 重要提示

我們已盡力減少模型的偏差，但請注意，模型仍有可能生成一些有偏差的答案。