Zhilu 13B Instruct

🚀 ZhiLu-13B-Instruct

ZhiLuは、中文Alpaca2-13Bをベースに二次訓練された金融大規模言語モデルです。大量の中英語コーパスを用いて増分事前学習を行い、同時に高品質の命令データを用いてアライメントを行いまし。このモデルは、汎用能力を維持しつつ、金融分野の能力を大幅に向上させることを目指しています。

🚀 クイックスタート

このリポジトリではZhiLuの完全なモデルを提供しています。このモデルを使用することで、ユーザーはLoRAモジュールを別途ダウンロードする必要がありません。

データの質

私たちは、上場企業の公告、財経ニュース、上場企業の年次報告、ニュース、金融情報、コミュニティの質問と回答、ウィキペディアなど、様々な種類の高品質データを収集しました。 モデル訓練の総トークン数は14.69Bで、汎用コーパスと金融コーパスの比率は約2:1、中英語の比率も約2:1です。

モデルの訓練

ZhiLuは、LoRA（emb/lm-headを含む）を用いて効率的な訓練を行い、FlashAttention - 2技術を用いて訓練を高速化しています。Full Model（このリポジトリ）とLoRAモジュールを公開しています。

使い方の例

基本的な使用法

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer
model_name_or_path = ""
tokenizer = LlamaTokenizer.from_pretrained(model_name_or_path, use_fast=False, legacy=True)
model = LlamaForCausalLM.from_pretrained(model_name_or_path, torch_dtype=torch.bfloat16,device_map="auto")
inputs = tokenizer("什么是A股？", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1)
outputs = tokenizer.decode(outputs.cpu()[0][len(inputs.input_ids[0]):], skip_special_tokens=True)
print(outputs)

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。