Mistral 7B Insurance

🚀 Mistral-7B-Insurance

このモデル「Mistral-7B-Insurance」は、保険分野に特化したモデルです。mistralai/Mistral-7B-Instruct-v0.2 をファインチューニングして作成され、保険に関する質問に回答し、様々な手続きを支援するように最適化されています。NLP/NLG技術と自動データラベリング（DAL）ツールを用いて生成されたハイブリッド合成データを使用して学習されています。

このモデルの目的は、汎用的な垂直化モデルが最終的なユースケースのカスタマイズを容易にすることを示すことです。このアプローチの概要については、From General-Purpose LLMs to Verticalized Enterprise Models を参照してください。

🚀 クイックスタート

モデルの概要

このモデル「Mistral-7B-Insurance」は、mistralai/Mistral-7B-Instruct-v0.2 をベースに保険分野向けにファインチューニングされたモデルです。保険に関する質問に回答し、様々な手続きを支援するために最適化されています。

想定される用途

• 推奨アプリケーション：このモデルは、Bitextの2段階のLLMファインチューニングアプローチの最初のステップとして、保険分野のチャットボット、バーチャルアシスタント、コパイロットの作成に使用することを想定しています。顧客のニーズに対して迅速かつ正確な回答を提供します。
• 想定外の用途：このモデルは保険関連以外の質問には適しておらず、健康、法律、重要な安全に関するアドバイスの提供には使用しないでください。

✨ 主な機能

• 保険分野に特化した質問に対する高精度な回答
• 保険関連の様々な手続きの支援

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'

model = AutoModelForCausalLM.from_pretrained("bitext/Mistral-7B-Insurance")
tokenizer = AutoTokenizer.from_pretrained("bitext/Mistral-7B-Insurance")

messages = [
    {"role": "system", "content": "You are an expert in customer support for Insurance."},
    {"role": "user", "content": "I want help seeing my health insurance"},
]

encoded = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encoded.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

📚 ドキュメント

モデルアーキテクチャ

このモデルは MistralForCausalLM アーキテクチャと LlamaTokenizer を使用しています。これにより、ベースモデルの基本的な機能を維持しつつ、保険関連の対話に特化した機能を強化しています。

学習データ

このモデルは、Bitext Insurance Dataset を使用してファインチューニングされています。このデータセットには、保険に関する様々な意図（買い付け、予約、支払い確認、見積もり計算、和解交渉など）が含まれており、合計39の意図があり、各意図には約1000の例が含まれています。

この包括的な学習により、モデルは幅広い保険関連の質問に効果的に対応できるようになっています。このデータセットは、bitext/Bitext-customer-support-llm-chatbot-training-dataset と同じ構造化アプローチに従っていますが、保険に焦点を当てています。

学習手順

ハイパーパラメータ

• オプティマイザ：AdamW
• 学習率：0.0002（コサイン学習率スケジューラ使用）
• エポック数：1
• バッチサイズ：4
• 勾配累積ステップ数：4
• 最大シーケンス長：8192トークン

環境

• Transformersバージョン：4.43.4
• フレームワーク：PyTorch 2.3.1+cu121
• トークナイザー：Tokenizers 0.19.1

制限事項とバイアス

• このモデルは保険に特化したコンテキストで学習されているため、関係のない領域では性能が低下する可能性があります。
• 学習データに潜在的なバイアスがあるため、回答の中立性に影響を与える可能性があります。ユーザーは回答を批判的に評価することを推奨します。

倫理的な考慮事項

この技術を使用する際には、必要な場合には人間の判断を代替しないように配慮することが重要です。特に、敏感な状況では注意が必要です。

謝辞

このモデルはBitextによって独自のデータと技術を使用して開発および学習されました。

📄 ライセンス

このモデル「Mistral-7B-Insurance」は、Bitext Innovations International, Inc. によってApache License 2.0の下でライセンスされています。このオープンソースライセンスにより、モデルの無料使用、変更、配布が許可されていますが、Bitextに適切なクレジットを与える必要があります。

Apache 2.0ライセンスの要点

• 許可事項：ユーザーはこのソフトウェアを自由に使用、変更、配布することができます。
• 帰属表示：このモデルを使用する際には、元の著作権表示とライセンスに従って、Bitext Innovations International, Inc. に適切なクレジットを与える必要があります。
• 特許許諾：ライセンスには、モデルの貢献者からの特許権の許諾が含まれています。
• 保証の無効：モデルは「現状のまま」提供され、いかなる保証もないことに注意してください。

ライセンスの全文については、Apache License 2.0 を参照してください。

このライセンスにより、Bitextの知的貢献を尊重しつつ、モデルを広く自由に使用することができます。このライセンスの使用に関する詳細な情報や具体的な法的な質問については、上記の公式ライセンスドキュメントを参照してください。