Finance Llama 8B

🚀 金融大语言模型Finance-Llama-8B

Finance-Llama-8B是基于unsloth/Meta-Llama-3.1-8B在Josephgflowers/Finance-Instruct-500k数据集上微调得到的模型。它专为金融任务、推理和多轮对话而设计，能够为金融领域的各类应用提供强大的支持。

✨ 主要特性

• 广泛覆盖：在超过500,000条数据上进行训练，涵盖金融问答、推理、情感分析、主题分类、多语言命名实体识别和对话式人工智能等多个领域。
• 多轮对话：能够进行丰富的对话，强调上下文理解和推理能力。
• 多样数据源：包含来自Cinder、Sujet-Finance-Instruct-177k、Phinance Dataset、BAAI/IndustryInstruction_Finance-Economics、Josephgflowers/Financial-NER-NLP等众多高质量数据集的条目。
• 金融专业化：针对金融推理、问答、实体识别、情感分析等任务进行了优化。

📚 详细文档

数据集详情

Finance-Instruct-500k数据集

• 概述：Finance-Instruct-500k是一个全面且精心策划的数据集，旨在训练用于金融任务、推理和多轮对话的高级语言模型。该数据集整合了来自多个高质量金融数据集的数据，提供了超过500,000条条目，为金融相关的指令调整和微调提供了无与伦比的深度和多样性。
• 数据集关键特性：
  • 广泛覆盖：超过500,000条条目，涵盖金融问答、推理、情感分析、主题分类、多语言命名实体识别和对话式人工智能等领域。
  • 多轮对话：丰富的对话，强调上下文理解和推理能力。
  • 多样数据源：包含来自Cinder、Sujet-Finance-Instruct-177k、Phinance Dataset、BAAI/IndustryInstruction_Finance-Economics、Josephgflowers/Financial-NER-NLP等众多高质量数据集的条目。

📦 安装指南

该模型可以使用transformers库的管道进行文本生成。首先，请确保你已经安装了transformers和torch库：

pip install transformers torch

💻 使用示例

基础用法

from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
import torch

# 替代无bitsandbytes的内存高效加载选项

model_id = "tarun7r/Finance-Llama-8B"

print("正在使用内存优化加载模型...")

# 选项1：使用FP16（半精度） - 减少约50%的内存
try:
    print("尝试使用FP16加载...")
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        torch_dtype=torch.float16,  # 半精度
        device_map="auto",          # 自动设备放置
        low_cpu_mem_usage=True,     # 加载期间高效使用CPU内存
        trust_remote_code=True
    )
    print("✔ 模型已使用FP16加载")
    
except Exception as e:
    print(f"FP16加载失败: {e}")
    
    # 选项2：CPU卸载 - 部分层在GPU上，部分在CPU上
    try:
        print("尝试使用CPU卸载...")
        model = AutoModelForCausalLM.from_pretrained(
            model_id,
            torch_dtype=torch.float16,
            device_map="balanced",      # 在GPU和CPU之间平衡
            low_cpu_mem_usage=True,
            trust_remote_code=True
        )
        print("✔ 模型已使用CPU卸载加载")
        
    except Exception as e:
        print(f"CPU卸载加载失败: {e}")
        
        # 选项3：作为备用方案，完全在CPU上加载
        print("正在CPU上加载...")
        model = AutoModelForCausalLM.from_pretrained(
            model_id,
            torch_dtype=torch.float16,
            device_map="cpu",
            low_cpu_mem_usage=True,
            trust_remote_code=True
        )
        print("✔ 模型已在CPU上加载")

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

# 创建管道
generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer
)

print("✔ 管道已成功创建！")


# 现有的提示代码
finance_prompt_template = """以下是一个描述任务的指令，以及提供进一步上下文的输入。请编写一个适当的响应来完成请求。

### 指令:
{}

### 输入:
{}

### 响应:
"""

# 更新系统提示以提供更详细的聊天机器人角色描述
messages = [
    {"role": "system", "content": "你是一个知识渊博的金融聊天机器人。你的目的是根据用户的具体需求和上下文，提供准确、有洞察力和可操作的金融建议。"},
    {"role": "user", "content": "个人投资者在动荡市场中可以使用哪些策略来有效分散投资组合？"},
]

# 更新生成器调用以使用消息
prompt = "\n".join([f"{msg['role'].capitalize()}: {msg['content']}" for msg in messages])

print("\n--- 正在生成响应 ---")

try:
    outputs = generator(
        prompt,
        #max_new_tokens=250,         # 为提高内存效率而减少
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        pad_token_id=tokenizer.eos_token_id,
        # 内存高效生成设置
        num_beams=1,                # 不使用束搜索以节省内存
        early_stopping=True,
        use_cache=True
    )
    
    # 提取响应
    generated_text = outputs[0]['generated_text']
    response_start = generated_text.rfind("### 响应:")
    if response_start != -1:
        response = generated_text[response_start + len("### 响应:"):].strip()
        print("\n--- 响应 ---")
        print(response)
    else:
        print(generated_text)
        
    # 生成后清理GPU内存
    if torch.cuda.is_available():
        torch.cuda.empty_cache()
        
except Exception as e:
    print(f"生成错误: {e}")

📄 许可证

本项目采用Apache-2.0许可证。

引用

@misc{tarun7r/Finance-Llama-8B,
  author    = {tarun7r},
  title     = {tarun7r/Finance-Llama-8B: A Llama 3.1 8B Model Fine-tuned on Josephgflowers/Finance-Instruct-500k},
  year      = {2025},
  publisher = {Hugging Face},
  journal   = {Hugging Face Model Hub},
  howpublished = {\url{https://huggingface.co/tarun7r/Finance-Llama-8B}}
}

信息表格