Sujet Finance 8B V0.1

🚀 Sujet Finance 8B v0.1の紹介

Sujet Finance 8B v0.1は、金融分野に特化した言語モデルです。このモデルは、Sujet Finance Instruct-177kデータセットを使用して、強力なLLAMA 3モデルをファインチューニングしたもので、金融に関するあらゆる質問に正確な回答を提供します。

🚀 クイックスタート

Sujet Finance 8B v0.1は、金融分野の様々なタスクに対応した高度な言語モデルです。以下に、このモデルの概要と使用方法を説明します。

✨ 主な機能

1. はい/いいえ質問応答

金融に関するはい/いいえの質問に対して、正確な回答を提供します。

• 学習セット: 「はい」の例が5,265件、「いいえ」の例が5,302件
• 評価セット: 「はい」の例が1,340件、「いいえ」の例が1,303件

2. トピック分類

金融テキストを、会社ニュース、市場、収益などの特定の金融関連カテゴリに分類します。

• 学習セット: 20のクラスに均等に分布し、クラスごとに29 - 40の例
• 評価セット: クラスごとに4 - 15の例

3. 感情分析

金融テキストを分析し、ポジティブ、ネガティブ、ニュートラル、弱気、強気の感情に分類します。

• 学習セット: ポジティブが1,160件、ネガティブが1,155件、ニュートラルが1,150件、弱気が1,133件、強気が1,185件
• 評価セット: ポジティブが281件、ネガティブが286件、ニュートラルが291件、弱気が308件、強気が256件

📦 インストール

このモデルはUnslothを使用してファインチューニングされています。モデルを使用する前に、UnslothのGitHubリポジトリを参照し、インストールしてください。

💻 使用例

基本的な使用法

from unsloth import FastLanguageModel


max_seq_length = 2048 
dtype = None 
load_in_4bit = False 


alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
{}

### Input:
{}

### Response:
{}"""


model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "sujet-ai/Sujet-Finance-8B-v0.1",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    token = "your hf token here",
)


example = {
'system_prompt': 'You are a financial sentiment analysis expert. Your task is to analyze the sentiment expressed in the given financial text.Only reply with bearish, neutral, or bullish.',
'user_prompt': "Expedia's Problems Run Deeper Than SEO Headwinds",
'answer': 'bearish',
}


inputs = tokenizer(
                [alpaca_prompt.format(
                    example['system_prompt'],  # instruction
                    example['user_prompt'],  # input
                    "",  # output - leave this blank for generation!
                )],
                return_tensors="pt"
            ).to("cuda")
            
outputs = model.generate(**inputs, max_new_tokens=2048, use_cache=True, pad_token_id=tokenizer.eos_token_id)
output = tokenizer.batch_decode(outputs)[0]
response = output.split("### Response:")[1].strip()
print(response)

📚 詳細ドキュメント

データセットに関する詳細情報は、Sujet-Finance-Instruct-177k Datasetをクリックして確認できます。

🔧 技術詳細

トレーニング手法

最適なパフォーマンスを確保するために、バランスの取れたトレーニングアプローチを採用しています。データセットの準備過程では、3つの焦点タスク内の各サブクラスから均等な数の例を戦略的に選択しています。これにより、多様な金融質問やトピックを処理できるバランスの取れたモデルが得られます。

最終的なバランスの取れたトレーニングデータセットは17,036の例で構成され、評価データセットは4,259の例を含んでいます。

モデル仕様

📊 評価結果

評価データセットを使用して、ベースのLLAMA 3モデルとのパフォーマンスを比較しました。結果は印象的です！

モデルが生成する最初の10語以内に正解が含まれている場合、回答を正しいとみなしています。この厳格な基準により、モデルは正確な回答を提供するだけでなく、最も関連性の高い情報を優先します。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。