Finma 7b Nlp

🚀 FinMA-7B-NLP

FinMA-7B-NLPは、PIXIUプロジェクトの一環として開発された金融用の大規模言語モデル（LLM）です。このモデルは、複雑な金融言語や概念を理解するように設計されており、自然言語の指示に従うように微調整されています。これにより、下流の金融タスクにおける性能が向上しています。具体的には、FinMA-7B-NLPはPIXIUデータセットのNLPタスクのみで学習されており、感情分析、ニュース見出し分類、固有表現認識、質問応答などのタスクに特化しています。

🚀 クイックスタート

FinMA-7B-NLPは、PIXIUプロジェクトの一部として開発された金融用の大規模言語モデルです。このモデルは、複雑な金融言語や概念を理解し、自然言語の指示に従うように微調整されています。

✨ 主な機能

• 複雑な金融言語や概念の理解
• 自然言語の指示に従う能力
• 感情分析、ニュース見出し分類、固有表現認識、質問応答などの金融タスクへの特化

📦 インストール

このモデルは、Hugging Face Transformersライブラリを使用してPythonプロジェクトで利用できます。以下は、モデルをロードする簡単な例です。

from transformers import LlamaTokenizer, LlamaForCausalLM

tokenizer = LlamaTokenizer.from_pretrained('ChanceFocus/finma-7b-nlp')
model = LlamaForCausalLM.from_pretrained('ChanceFocus/finma-7b-nlp', device_map='auto')

この例では、LlamaTokenizerを使用してトークナイザーをロードし、LlamaForCausalLMを使用してモデルをロードしています。device_map='auto'引数は、利用可能な場合は自動的にGPUを使用するために使用されます。

💻 使用例

基本的な使用法

from transformers import LlamaTokenizer, LlamaForCausalLM

tokenizer = LlamaTokenizer.from_pretrained('ChanceFocus/finma-7b-nlp')
model = LlamaForCausalLM.from_pretrained('ChanceFocus/finma-7b-nlp', device_map='auto')

高度な使用法

# Hugging Face Inference APIを使用してモデルを利用することもできます。
# これにより、独自の推論環境をセットアップすることなくテキストを生成できます。
# モデルは、Inference APIでオンデマンドでロードできます。

📚 ドキュメント

PIXIUプロジェクトの他のモデル

PIXIUプロジェクトには、FinMA-7B-NLPに加えて、他に2つのモデルが含まれています。

• FinMA-7B-full：このモデルは、PIXIUデータセットの全ての指示データで学習されており、NLPタスクと予測タスクの両方をカバーしています。これにより、より幅広い金融タスクを処理できる包括的なモデルになっています。
• FinMA-30B：このモデルは、FinMAの大規模版で、LLaMA-30Bモデルをベースに微調整されています。FinMA-7B-NLPと同様に、NLP指示データで学習されています。

Hosted Inference API

Hugging Face Inference APIを使用してモデルを利用することもできます。これにより、独自の推論環境をセットアップすることなくテキストを生成できます。モデルは、Inference APIでオンデマンドでロードできます。

📄 ライセンス

FinMA-7B-NLPは、MITライセンスの下で提供されています。詳細については、MITファイルを参照してください。

🔗 関連情報

このモデルは、PIXIUプロジェクトの一部です。PIXIUプロジェクトは、最初の金融用大規模言語モデル（LLM）、指示微調整データ、および金融LLMを包括的に評価するための評価ベンチマークを備えたオープンソースリソースです。目標は、金融人工知能（AI）のオープンソース開発を継続的に推進することです。

詳細情報については、GitHub上のPIXIUプロジェクトを参照してください。

📖 引用

あなたの研究でFinMA-7B-NLPを使用する場合は、PIXIU論文を引用してください。

@misc{xie2023pixiu,
 title={PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance}, 
 author={Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
 year={2023},
 eprint={2306.05443},
 archivePrefix={arXiv},
 primaryClass={cs.CL}
}