Zhilu 13B Instruct

🚀 ZhiLu-13B-Instruct

ZhiLu是一個基於中文Alpaca2-13B進行二次訓練的金融大模型。我們使用大量中英文語料進行增量預訓練，並使用高質量指令數據進行對齊，旨在保持通用能力的同時，顯著提升金融領域的能力。具體細節可參考：ZhiLu-github倉庫

🚀 快速開始

本倉庫提供ZhiLu的完整模型，使用該模型，用戶無需再下載LoRA模塊。

快速使用示例

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer
model_name_or_path = ""
tokenizer = LlamaTokenizer.from_pretrained(model_name_or_path, use_fast=False, legacy=True)
model = LlamaForCausalLM.from_pretrained(model_name_or_path, torch_dtype=torch.bfloat16,device_map="auto")
inputs = tokenizer("什麼是A股？", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1)
outputs = tokenizer.decode(outputs.cpu()[0][len(inputs.input_ids[0]):], skip_special_tokens=True)
print(outputs)

✨ 主要特性

• 基於中文Alpaca2-13B進行二次訓練，結合大量中英文語料增量預訓練和高質量指令數據對齊。
• 目標是在保持通用能力的同時，顯著提升金融領域能力。
• 本倉庫提供完整模型，無需額外下載LoRA模塊。

📦 安裝指南

文檔未提及具體安裝步驟，暫不提供。

💻 使用示例

基礎用法

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer
model_name_or_path = ""
tokenizer = LlamaTokenizer.from_pretrained(model_name_or_path, use_fast=False, legacy=True)
model = LlamaForCausalLM.from_pretrained(model_name_or_path, torch_dtype=torch.bfloat16,device_map="auto")
inputs = tokenizer("什麼是A股？", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1)
outputs = tokenizer.decode(outputs.cpu()[0][len(inputs.input_ids[0]):], skip_special_tokens=True)
print(outputs)

📚 詳細文檔

數據質量

我們收集了各類數據，包括上市公司公告、財經新聞、上市公司年度報告、新聞、金融資訊、社區問答、維基百科等高質量數據。模型訓練的總token數為14.69B，通用語料與金融預料比例約為2:1，中英配比約為2:1。

模型訓練

ZhiLu使用LoRA進行高效訓練（含emb/lm-head），使用FlashAttention - 2技術進行加速訓練，公佈了Full Model（本倉庫）和LoRA模塊

📄 許可證

本項目採用Apache-2.0許可證。