Deepseek R1 Distill Llama 8B Finance V1

🚀 上传的模型

本项目旨在通过在特定的金融数据集上对基础模型进行微调，以提升其在金融任务中的性能。利用低秩自适应（LoRA）技术，该模型针对低秩调整进行了优化，能够以较少的资源实现高效的微调。

🚀 快速开始

模型信息

模型训练

这个Llama模型使用 Unsloth 和Huggingface的TRL库进行训练，训练速度提升了2倍。

✨ 主要特性

模型详情

• 基础模型：unsloth/DeepSeek-R1-Distill-Llama-8B
• 模型类型：语言模型（蒸馏）
• 微调技术：LoRA（低秩自适应）
• 微调后模型：DeepSeek-R1-Distill-Llama-8B-finance-v1
• 数据集：Josephgflowers/Finance-Instruct-500k（缩减至5000条JSONL记录）
• 平台：免费版Kaggle Notebook
• 库：Hugging Face Transformers、Unsloth和Pytorch

该模型是 unsloth/DeepSeek-R1-Distill-Llama-8B 的微调版本，利用LoRA技术实现了高效的参数调整。它在 Josephgflowers/Finance-Instruct-500k 数据集的缩减版本（5000条记录）上进行了专门的微调，以提升在金融相关任务中的性能。

预期用途

该模型适用于与金融问答、生成以及需要金融领域特定知识的指令任务。它也可用于其他自然语言理解和生成任务，这些任务可以从金融特定数据集的微调中受益。

数据集

该模型在Hugging Face的Finance-Instruct-500k数据集的一个子集上进行了微调，具体为缩减至5000条JSONL记录的版本。这个数据集包含金融问答，为模型训练提供了丰富的示例。

训练数据

注意事项

⚠️ 重要提示

• 本次微调是在免费版Kaggle Notebook上进行的，因此训练时间和可用资源有限。
• 请确保在Colab/Kaggle中将运行时环境设置为GPU，以加快训练过程。
• 缩减后的5000条数据集是用于实验的较小样本。您可以根据需求和可用资源进行扩展。

性能

该模型在金融指令任务中表现良好，能够根据缩减后的数据集提供准确的响应。性能可以通过特定的金融相关基准进行进一步评估。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("abhi9ab/DeepSeek-R1-Distill-Llama-8B-finance-v1")
model = AutoModelForCausalLM.from_pretrained("abhi9ab/DeepSeek-R1-Distill-Llama-8B-finance-v1")

inputs = tokenizer("Example finance-related query", return_tensors="pt")
outputs = model.generate(inputs['input_ids'])

📄 许可证

本模型使用的许可证为apache-2.0。

致谢

• 感谢Josephgflowers提供的数据集。
• 感谢Hugging Face Transformers库实现模型，以及Unsloth实现基于LoRA的微调。