DISC FinLLM

🚀 DISC-FinLLM

DISC-FinLLMは、金融分野の大規模モデルです。このモデルは、金融シナリオにおいて、ユーザーに専門的、インテリジェントかつ包括的な金融コンサルティングサービスを提供することを目的としています。

なお、本プロジェクトは現在開発中であるため、このリポジトリ内のモデルウェイトは、現在デプロイされているデモと異なる場合があります。

✨ 主な機能

DISC-FinLLMは、金融コンサルティング、金融テキスト分析、金融計算、金融知識検索と質問応答の4つのモジュールから構成される多専門家型のスマート金融システムです。各モジュールの機能は以下の通りです。

• 金融コンサルティング：このモジュールは、中国の金融文脈における金融トピックについてユーザーと複数回の対話を開始したり、金融専門の関連知識をユーザーに説明したりすることができます。データセットの金融コンサルティング命令部分によって構成されています。
• 金融テキスト分析：このモジュールは、ユーザーが金融テキストに対して情報抽出、感情分析、テキスト分類、テキスト生成などの自然言語処理タスクを完了するのを支援します。データセット内の金融タスク命令によって訓練されています。
• 金融計算：このモジュールは、ユーザーが数学的計算に関連するタスクを完了するのを支援します。金利や成長率などの基本的な計算に加えて、統計分析もサポートしており、ブラック・ショールズオプション価格モデルやEDF期待デフォルト確率モデルなどの金融モデルの計算も含まれています。このモジュールは、データセット内の金融計算命令の一部から訓練されています。
• 金融知識検索と質問応答：このモジュールは、金融ニュース、調査レポート、関連政策文書に基づいて、ユーザーに投資アドバイス、時事分析、政策解釈を提供することができます。データセット内の検索強化命令の一部から訓練されています。

詳細については、ホームをご確認ください。

📦 DISC-Fin-SFTデータセット

DISC-FinLLMは、高品質な金融データセットDISC-Fin-SFTに基づく大規模金融モデルです。一般ドメインの中国語大規模モデルであるBaichuan - 13B - Chatに対して、LoRA命令を構築し、微調整しています。DISC-Fin-SFTには合計約25万件のデータが含まれており、金融コンサルティング命令、金融タスク命令、金融計算命令、検索強化命令の4つのサブデータセットに分けられています。

💻 使用例

基本的な使用法

>>>import torch
>>>>>>from transformers import AutoModelForCausalLM, AutoTokenizer
>>>from transformers.generation.utils import GenerationConfig
>>>tokenizer = AutoTokenizer.from_pretrained("Go4miii/DISC-FinLLM", use_fast=False, trust_remote_code=True)
>>>model = AutoModelForCausalLM.from_pretrained("Go4miii/DISC-FinLLM", device_map="auto", torch_dtype=torch.float16, trust_remote_code=True)
>>>model.generation_config = GenerationConfig.from_pretrained("Go4miii/DISC-FinLLM")
>>>messages = []
>>>messages.append({"role": "user", "content": "请解释一下什么是银行不良资产？"})
>>>response = model.chat(tokenizer, messages)
>>>print(response)

⚠️ 免責事項

DISC-FinLLMには、現在の大規模言語モデルでは克服できない問題や欠点があります。多くのタスクやシナリオで金融分野のサービスを提供することができますが、このモデルはユーザーの参考としてのみ使用されるべきであり、専門の金融アナリストや金融専門家を代替することはできません。DISC-FinLLMのユーザーは、モデルを批判的に評価できることを期待しています。DISC-FinLLMの使用によって生じるいかなる問題、リスク、または悪影響について、当方は責任を負いません。

📚 引用

もし当プロジェクトがあなたの研究や仕事に役立った場合、以下のように引用していただけると幸いです。

@misc{yue2023disclawllm,
    title={DISC-LawLLM: Fine-tuning Large Language Models for Intelligent Legal Services}, 
    author={Shengbin Yue and Wei Chen and Siyuan Wang and Bingxuan Li and Chenchen Shen and Shujun Liu and Yuxuan Zhou and Yao Xiao and Song Yun and Xuanjing Huang and Zhongyu Wei},
    year={2023},
    eprint={2309.11325},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 ライセンス

このリポジトリ内のソースコードの使用は、Apache 2.0ライセンスに準拠しています。