Finma 7b Nlp

🚀 FinMA-7B-NLP

FinMA-7B-NLPは、PIXIUプロジェクトの一環として開発された金融用の大規模言語モデル（LLM）です。複雑な金融言語や概念を理解するように設計されており、自然言語の指示に従うように微調整されています。これにより、下流の金融タスクでのパフォーマンスが向上します。具体的には、FinMA-7B-NLPはPIXIUデータセットのNLPタスクのみでトレーニングされており、感情分析、ニュース見出し分類、固有表現認識、質問応答などのタスクに特化しています。

🚀 クイックスタート

FinMA-7B-NLPは、金融用の大規模言語モデルで、PIXIUプロジェクトの一環として開発されました。複雑な金融言語や概念を理解し、自然言語の指示に従うように微調整されています。

✨ 主な機能

• 複雑な金融言語や概念の理解
• 自然言語の指示に従う能力
• 感情分析、ニュース見出し分類、固有表現認識、質問応答などのNLPタスクへの特化

📦 インストール

このモデルを使用するには、Hugging Face Transformersライブラリが必要です。以下のコードを使用してモデルをロードできます。

from transformers import LlamaTokenizer, LlamaForCausalLM

tokenizer = LlamaTokenizer.from_pretrained('ChanceFocus/finma-7b-nlp')
model = LlamaForCausalLM.from_pretrained('ChanceFocus/finma-7b-nlp', device_map='auto')

この例では、LlamaTokenizerを使用してトークナイザをロードし、LlamaForCausalLMを使用してモデルをロードしています。device_map='auto'引数は、GPUが利用可能な場合は自動的にGPUを使用するために使用されます。

💻 使用例

基本的な使用法

from transformers import LlamaTokenizer, LlamaForCausalLM

tokenizer = LlamaTokenizer.from_pretrained('ChanceFocus/finma-7b-nlp')
model = LlamaForCausalLM.from_pretrained('ChanceFocus/finma-7b-nlp', device_map='auto')

このコードでは、LlamaTokenizerを使ってトークナイザをロードし、LlamaForCausalLMを使ってモデルをロードします。device_map='auto'を指定することで、GPUが利用可能な場合は自動的にGPUを使用します。

高度な使用法

# Hugging Face Inference APIを使用して、独自の推論環境を設定することなくテキストを生成できます。
# モデルは、Inference API上でオンデマンドでロードできます。

📚 ドキュメント

PIXIUプロジェクトの他のモデル

PIXIUプロジェクトには、FinMA-7B-NLPの他に2つのモデルが含まれています。

• FinMA-7B-full：このモデルは、PIXIUデータセットの全ての指示データでトレーニングされており、NLPと予測タスクの両方をカバーしています。これにより、より幅広い金融タスクを処理できる包括的なモデルとなっています。
• FinMA-30B：このモデルはFinMAの大規模バージョンで、LLaMA-30Bモデルをベースに微調整されています。FinMA-7B-NLPと同様に、NLPの指示データでトレーニングされています。

ホストされた推論API

Hugging Face Inference APIを通じてモデルを使用することもできます。これにより、独自の推論環境を設定することなくテキストを生成できます。モデルは、Inference API上でオンデマンドでロードできます。

📄 ライセンス

FinMA-7B-NLPはMITライセンスの下で提供されています。詳細については、MITファイルを参照してください。

🔗 関連情報

このモデルはPIXIUプロジェクトの一部です。PIXIUプロジェクトは、最初の金融用大規模言語モデル（LLM）、指示微調整データ、および金融LLMを包括的に評価するための評価ベンチマークを備えたオープンソースリソースです。目標は、金融人工知能（AI）のオープンソース開発を継続的に推進することです。 詳細については、GitHub上のPIXIUプロジェクトを参照してください。

📖 引用

もしあなたの研究でFinMA-7B-NLPを使用する場合は、PIXIUの論文を引用してください。

@misc{xie2023pixiu,
 title={PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance}, 
 author={Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
 year={2023},
 eprint={2306.05443},
 archivePrefix={arXiv},
 primaryClass={cs.CL}
}

情報テーブル