Finance Llama 8B

🚀 金融大語言模型Finance-Llama-8B

Finance-Llama-8B是基於unsloth/Meta-Llama-3.1-8B在Josephgflowers/Finance-Instruct-500k數據集上微調得到的模型。它專為金融任務、推理和多輪對話而設計，能夠為金融領域的各類應用提供強大的支持。

✨ 主要特性

• 廣泛覆蓋：在超過500,000條數據上進行訓練，涵蓋金融問答、推理、情感分析、主題分類、多語言命名實體識別和對話式人工智能等多個領域。
• 多輪對話：能夠進行豐富的對話，強調上下文理解和推理能力。
• 多樣數據源：包含來自Cinder、Sujet-Finance-Instruct-177k、Phinance Dataset、BAAI/IndustryInstruction_Finance-Economics、Josephgflowers/Financial-NER-NLP等眾多高質量數據集的條目。
• 金融專業化：針對金融推理、問答、實體識別、情感分析等任務進行了優化。

📚 詳細文檔

數據集詳情

Finance-Instruct-500k數據集

• 概述：Finance-Instruct-500k是一個全面且精心策劃的數據集，旨在訓練用於金融任務、推理和多輪對話的高級語言模型。該數據集整合了來自多個高質量金融數據集的數據，提供了超過500,000條條目，為金融相關的指令調整和微調提供了無與倫比的深度和多樣性。
• 數據集關鍵特性：
  • 廣泛覆蓋：超過500,000條條目，涵蓋金融問答、推理、情感分析、主題分類、多語言命名實體識別和對話式人工智能等領域。
  • 多輪對話：豐富的對話，強調上下文理解和推理能力。
  • 多樣數據源：包含來自Cinder、Sujet-Finance-Instruct-177k、Phinance Dataset、BAAI/IndustryInstruction_Finance-Economics、Josephgflowers/Financial-NER-NLP等眾多高質量數據集的條目。

📦 安裝指南

該模型可以使用transformers庫的管道進行文本生成。首先，請確保你已經安裝了transformers和torch庫：

pip install transformers torch

💻 使用示例

基礎用法

from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
import torch

# 替代無bitsandbytes的內存高效加載選項

model_id = "tarun7r/Finance-Llama-8B"

print("正在使用內存優化加載模型...")

# 選項1：使用FP16（半精度） - 減少約50%的內存
try:
    print("嘗試使用FP16加載...")
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        torch_dtype=torch.float16,  # 半精度
        device_map="auto",          # 自動設備放置
        low_cpu_mem_usage=True,     # 加載期間高效使用CPU內存
        trust_remote_code=True
    )
    print("✔ 模型已使用FP16加載")
    
except Exception as e:
    print(f"FP16加載失敗: {e}")
    
    # 選項2：CPU卸載 - 部分層在GPU上，部分在CPU上
    try:
        print("嘗試使用CPU卸載...")
        model = AutoModelForCausalLM.from_pretrained(
            model_id,
            torch_dtype=torch.float16,
            device_map="balanced",      # 在GPU和CPU之間平衡
            low_cpu_mem_usage=True,
            trust_remote_code=True
        )
        print("✔ 模型已使用CPU卸載加載")
        
    except Exception as e:
        print(f"CPU卸載加載失敗: {e}")
        
        # 選項3：作為備用方案，完全在CPU上加載
        print("正在CPU上加載...")
        model = AutoModelForCausalLM.from_pretrained(
            model_id,
            torch_dtype=torch.float16,
            device_map="cpu",
            low_cpu_mem_usage=True,
            trust_remote_code=True
        )
        print("✔ 模型已在CPU上加載")

# 加載分詞器
tokenizer = AutoTokenizer.from_pretrained(model_id)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

# 創建管道
generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer
)

print("✔ 管道已成功創建！")


# 現有的提示代碼
finance_prompt_template = """以下是一個描述任務的指令，以及提供進一步上下文的輸入。請編寫一個適當的響應來完成請求。

### 指令:
{}

### 輸入:
{}

### 響應:
"""

# 更新系統提示以提供更詳細的聊天機器人角色描述
messages = [
    {"role": "system", "content": "你是一個知識淵博的金融聊天機器人。你的目的是根據用戶的具體需求和上下文，提供準確、有洞察力和可操作的金融建議。"},
    {"role": "user", "content": "個人投資者在動盪市場中可以使用哪些策略來有效分散投資組合？"},
]

# 更新生成器調用以使用消息
prompt = "\n".join([f"{msg['role'].capitalize()}: {msg['content']}" for msg in messages])

print("\n--- 正在生成響應 ---")

try:
    outputs = generator(
        prompt,
        #max_new_tokens=250,         # 為提高內存效率而減少
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        pad_token_id=tokenizer.eos_token_id,
        # 內存高效生成設置
        num_beams=1,                # 不使用束搜索以節省內存
        early_stopping=True,
        use_cache=True
    )
    
    # 提取響應
    generated_text = outputs[0]['generated_text']
    response_start = generated_text.rfind("### 響應:")
    if response_start != -1:
        response = generated_text[response_start + len("### 響應:"):].strip()
        print("\n--- 響應 ---")
        print(response)
    else:
        print(generated_text)
        
    # 生成後清理GPU內存
    if torch.cuda.is_available():
        torch.cuda.empty_cache()
        
except Exception as e:
    print(f"生成錯誤: {e}")

📄 許可證

本項目採用Apache-2.0許可證。

引用

@misc{tarun7r/Finance-Llama-8B,
  author    = {tarun7r},
  title     = {tarun7r/Finance-Llama-8B: A Llama 3.1 8B Model Fine-tuned on Josephgflowers/Finance-Instruct-500k},
  year      = {2025},
  publisher = {Hugging Face},
  journal   = {Hugging Face Model Hub},
  howpublished = {\url{https://huggingface.co/tarun7r/Finance-Llama-8B}}
}

信息表格