Finma 7b Full

🚀 FinMA-7B-full

FinMA-7B-fullは、PIXIUプロジェクトの一環として開発された包括的な金融用大規模言語モデル（LLM）です。このモデルは、複雑な金融言語や概念を理解するように設計されており、自然言語の指示に従うように微調整されています。これにより、下流の金融タスクでの性能が向上しています。具体的には、FinMA-7B-fullはPIXIUデータセットの全ての指示データを用いて訓練されており、NLPタスクと予測タスクの両方をカバーしています。このため、より広範な金融タスクを扱うことができる包括的なモデルとなっています。

📚 詳細ドキュメント

PIXIUプロジェクトの他のモデル

PIXIUプロジェクトには、FinMA-7B-fullの他に2つのモデルが含まれています。

• FinMA-7B-NLP：このモデルは、PIXIUデータセットのNLPタスクのみで訓練されており、感情分析、ニュース見出し分類、固有表現認識、質問応答などのタスクに特化しています。
• FinMA-30B：このモデルはFinMAの大規模版で、LLaMA-30Bモデルをベースに微調整されています。FinMA-7B-NLPと同様に、NLP指示データを用いて訓練されています。

使用方法

Hugging Face Transformersライブラリを使って、PythonプロジェクトでFinMA-7B-fullモデルを使用することができます。以下は、モデルをロードする簡単な例です。

💻 使用例

基本的な使用法

from transformers import LlamaTokenizer, LlamaForCausalLM

tokenizer = LlamaTokenizer.from_pretrained('ChanceFocus/finma-7b-full')
model = LlamaForCausalLM.from_pretrained('ChanceFocus/finma-7b-full', device_map='auto')

この例では、LlamaTokenizerを使ってトークナイザーをロードし、LlamaForCausalLMを使ってモデルをロードしています。device_map='auto'引数を使用することで、GPUが利用可能な場合は自動的にGPUを使用します。

ホストされた推論API

Hugging Faceの推論APIを通じてモデルを使用することもできます。これにより、独自の推論環境をセットアップすることなく、テキストを生成することができます。モデルは、推論API上でオンデマンドでロードすることができます。

📄 ライセンス

FinMA-7B-NLPはMITライセンスの下で提供されています。詳細については、MITファイルを参照してください。

概要

このモデルはPIXIUプロジェクトの一部です。PIXIUプロジェクトは、最初の金融用大規模言語モデル（LLM）、指示微調整データ、および金融LLMを包括的に評価するための評価ベンチマークを備えたオープンソースリソースです。目標は、金融人工知能（AI）のオープンソース開発を継続的に推進することです。

詳細については、GitHub上のPIXIUプロジェクトをご覧ください。

引用

もしあなたの研究でFinMA-7B-NLPを使用した場合は、PIXIUの論文を引用してください。

@misc{xie2023pixiu,
 title={PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance}, 
 author={Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
 year={2023},
 eprint={2306.05443},
 archivePrefix={arXiv},
 primaryClass={cs.CL}
}

情報テーブル

| 属性 | 详情 |
|------|------|
| データセット | chancefocus/pixiu、ChanceFocus/FLUPE |
| 言語 | en |
| 推論 | false |
| 評価指標 | accuracy、exact_match、f1 |
| ライブラリ名 | transformers |
| タグ | finance、llama、llms |