Financeconnect 13B

🚀 FinanceConnect

FinanceConnectは、最新のオープンソースチャットモデルで、金融および経済に関する議論に特化しています。堅牢なLlama2-13Bアーキテクチャをベースに構築され、FinTalk-19kとAlpacaのデータセットを組み合わせてファインチューニングされているため、金融関係者、研究者、および愛好家にとって貴重なリソースとなっています。

🚀 クイックスタート

FinanceConnectモデルの機能を、構成が整ったPythonインターフェースを通じて体験してください。探索を始めるには、以下の手順とコードスニペットに従ってください。

前提条件

1. 必要なパッケージが利用可能であることを確認する

import torch
from typing import Any, Dict
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    HfArgumentParser,
    TrainingArguments,
    PreTrainedTokenizerFast,
    pipeline,
    logging,
)
import time

2. モデルとトークナイザーを初期化する

model_name = "ceadar-ie/FinanceConnect-13B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, load_in_8bit = True, device_map = "auto", trust_remote_code=True)

3. テキスト生成用の関数を作成する

def generate_text(input_text):
    tokenizer.padding_side = "right"
    num_words_input = len(input_text.split())

    start_time = time.time()
    
    pipe = pipeline(task="text-generation", model=model, tokenizer=tokenizer, max_length = 1000)
    prompt = f"<s>[INST] {input_text} [/INST]"
    #prompt = input_text
    result = pipe(prompt)
    generated_text = result[0]['generated_text'].replace(prompt, "").strip()

    end_time = time.time()
    time_taken = end_time - start_time

    num_words_generated = len(generated_text.split())

    print("Generated Output:")
    print(generated_text)
    print('=' * 60 )
    print("\nNumber of Words in Input Text:", num_words_input)
    print("Number of Words in Generated Output:", num_words_generated)
    print("Time Taken to Generate Output: {:.2f} seconds".format(time_taken))

✨ 主な機能

• ドメイン特化：FinanceConnectモデルは、金融に関する会話に特化しており、金融研究者や愛好家にとってのリソースとなります。
• モデルAPIのアクセス容易性：金融コンテンツの洞察を生成するための簡単なPython統合を提供します。
• パフォーマンス最適化：CPUとGPUの両方のプラットフォームで効率的なパフォーマンスを発揮します。
• データ表現：包括的な金融データセットを組み合わせて利用することで、専門的な基準に沿ったコンテンツ生成を可能にします。

📦 インストール

このセクションでは、FinanceConnectモデルを使用するための前提条件と初期化手順を説明します。

前提条件

1. 必要なパッケージが利用可能であることを確認する

import torch
from typing import Any, Dict
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    HfArgumentParser,
    TrainingArguments,
    PreTrainedTokenizerFast,
    pipeline,
    logging,
)
import time

2. モデルとトークナイザーを初期化する

model_name = "ceadar-ie/FinanceConnect-13B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, load_in_8bit = True, device_map = "auto", trust_remote_code=True)

💻 使用例

基本的な使用法

# 前提条件のコードを実行した後、以下のようにテキスト生成関数を呼び出すことができます。
input_text = "List in detail ten key factors influencing the current state of the global economy."
generate_text(input_text)

高度な使用法

# 高度なシナリオでは、入力テキストを変更して、様々な質問に対する回答を取得できます。
input_text = "Explain the concept of quantitative easing and its impact on financial markets."
generate_text(input_text)

📚 ドキュメント

モデルの詳細

データセットの利用

FinTalk-19kとAlpacaのデータセットを活用して、金融知識に焦点を当てたコレクションが構築されています。このモデルは、金融業界に関連する洞察と情報を提供します。データセットの詳細を知るには、FinTalk-19k、Alpacaを訪問してください。

ベンチマーク

学習の詳細

学習ハイパーパラメータ

• per_device_train_batch_size = 10
• gradient_accumulation_steps = 4
• optim = "paged_adamw_32bit"
• learning_rate = 2e-4
• max_grad_norm = 0.3
• warmup_ratio = 0.03

ライセンス

FinanceConnectモデルは、CeADAR Connect Groupによって開発され、Llama2、FinTalk-8k、およびAlpacaのライセンスフレームワークを組み合わせています。Metaの条件に基づき、ユーザーは、Llama2モデルとその関連ドキュメントを含むLlama Materialsの使用と変更について、非排他的、世界規模、非譲渡、無料の制限付きライセンスを付与されています。再配布する際には、提供された契約書と特定の帰属通知を含める必要があります。さらに、FinTalkデータセットのライセンス（Apache 2.0）およびAlpacaデータセットのライセンス（cc-by-nc-4.0）に沿って、モデルは3つのライセンスの傘下で配布されています。

モデルの制限

対象外の使用

FinanceConnectは、金融に関する議論と知識に特化しています。以下の用途には最適化されていません。

• 一般的な会話
• 金融タスク以外のドメイン固有のタスク
• 物理デバイスやアプリケーションとの直接的なインターフェース

バイアス、リスク、および制限

• データセットのバイアス：FinTalk-19kとAlpacaのデータセットには、モデルの出力に影響を与える固有のバイアスが含まれている可能性があります。
• 過度の依存：このモデルは支援ツールであり、人間の専門知識の代替品ではありません。決定を行う際には、慎重に検討する必要があります。
• コンテンツの理解：モデルは人間のような理解能力を持たず、知識の真実性を判断することはできません。
• 言語の制限：モデルの主要言語は英語です。他の言語でのパフォーマンスは低下する可能性があります。
• 知識の更新：モデルは、最後の学習更新以降の出来事やトレンドを認識していない可能性があります。

引用

@misc {ceadar_2023,
    author       = { {CeADAR} },
    title        = { FinanceConnect-13B (Revision 5f7841d) },
    year         = 2023,
    url          = { https://huggingface.co/ceadar-ie/FinanceConnect-13B },
    doi          = { 10.57967/hf/1405 },
    publisher    = { Hugging Face }
}

問い合わせ

FinanceConnectに関するさらなる問い合わせやフィードバックは、ahtsham.zafar@ucd.ieまで送信してください。