Mistral 7B Banking V2

🚀 Mistral-7B-Banking

このモデル「Mistral-7B-Banking」は、銀行業界に特化したモデルです。mistralai/Mistral-7B-Instruct-v0.2 をファインチューニングして作成され、銀行関連の質問に回答し、様々な取引を支援するよう最適化されています。

🚀 クイックスタート

このモデルは、銀行業界向けのチャットボットやバーチャルアシスタント、コパイロットの作成における、Bitextの2段階ファインチューニングアプローチの最初のステップとして使用することを想定しています。銀行に関する質問に迅速かつ正確な回答を提供します。

✨ 主な機能

• 銀行関連の質問に回答し、取引を支援します。
• 汎用的なバーティカルモデルなので、最終的なユースケースへのカスタマイズが容易です。

📦 インストール

このモデルはHugging Faceからダウンロードできます。以下のコードを使用して、モデルとトークナイザーをロードできます。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'

model = AutoModelForCausalLM.from_pretrained("bitext/Mistral-7B-Banking-v2")
tokenizer = AutoTokenizer.from_pretrained("bitext/Mistral-7B-Banking-v2")

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'

model = AutoModelForCausalLM.from_pretrained("bitext/Mistral-7B-Banking-v2")
tokenizer = AutoTokenizer.from_pretrained("bitext/Mistral-7B-Banking-v2")

messages = [
    {"role": "system", "content": "You are an expert in customer support for Banking."},
    {"role": "user", "content": "I want to open a bank account"},
]

encoded = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encoded.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

📚 ドキュメント

モデルの説明

このモデルは、銀行業界に特化したモデルです。mistralai/Mistral-7B-Instruct-v0.2 をファインチューニングして作成され、銀行関連の質問に回答し、様々な取引を支援するよう最適化されています。

想定される用途

• 推奨されるアプリケーション：このモデルは、銀行業界向けのチャットボットやバーチャルアシスタント、コパイロットの作成における、Bitextの2段階ファインチューニングアプローチの最初のステップとして使用することを想定しています。銀行に関する質問に迅速かつ正確な回答を提供します。
• 想定外の用途：このモデルは銀行関連以外の質問には適しておらず、健康、法律、重要な安全に関するアドバイスの提供には使用しないでください。

モデルのアーキテクチャ

このモデルは MistralForCausalLM アーキテクチャを使用し、LlamaTokenizer を備えています。これにより、ベースモデルの基本的な機能を維持しつつ、銀行関連の対話に特化した機能を強化しています。

学習データ

このモデルは、銀行関連の様々な意図を含むデータセットでファインチューニングされています。残高照会、送金、ローン申請など、合計89の意図があり、それぞれ約1000の例で表されています。この包括的な学習により、モデルは幅広い銀行関連の質問に効果的に対応できます。このデータセットは、Hugging Faceに公開されている bitext/Bitext-customer-support-llm-chatbot-training-dataset と同じ構造的アプローチに従っていますが、銀行に焦点を当てています。

学習手順

ハイパーパラメータ

• オプティマイザー：AdamW
• 学習率：0.0002（コサイン学習率スケジューラー使用）
• エポック数：3
• バッチサイズ：4
• 勾配累積ステップ数：4
• 最大シーケンス長：8192トークン

環境

• Transformersバージョン：4.43.4
• フレームワーク：PyTorch 2.3.1+cu121
• トークナイザー：Tokenizers 0.19.1

制限事項とバイアス

• このモデルは銀行関連のコンテキストで学習されているため、関連のない分野では性能が低下する可能性があります。
• 学習データに潜在的なバイアスがあるため、回答の中立性に影響を与える可能性があります。ユーザーは回答を批判的に評価することを推奨します。

倫理的な考慮事項

この技術を使用する際には、特に敏感な金融状況において、必要な場合には人間の判断を代替しないように慎重に使用することが重要です。

謝辞

このモデルはBitextによって独自のデータと技術を使用して開発および学習されました。

📄 ライセンス

このモデル「Mistral-7B-Banking」は、Bitext Innovations International, Inc.によってApache License 2.0の下でライセンスされています。このオープンソースライセンスにより、モデルの無料使用、変更、配布が可能ですが、Bitextに適切なクレジットを与える必要があります。

Apache 2.0ライセンスの要点

• 許容性：ユーザーはこのソフトウェアを自由に使用、変更、配布することができます。
• 帰属表示：このモデルを使用する際には、元の著作権表示とライセンスに従って、Bitext Innovations International, Inc.に適切なクレジットを与える必要があります。
• 特許付与：ライセンスには、モデルの貢献者からの特許権の付与が含まれています。
• 保証なし：モデルは「現状のまま」提供され、いかなる保証も伴いません。

完全なライセンステキストは Apache License 2.0 で確認できます。

このライセンスにより、Bitextの知的貢献を尊重しつつ、モデルを広く自由に使用できるようになります。このライセンスを使用する際の詳細な情報や具体的な法的質問については、上記の公式ライセンスドキュメントを参照してください。