Mistral 7B Mortgage Loans

🚀 Mistral-7B-Mortgage-Loans-v1

このモデル「Mistral-7B-Mortgage-Loans-v1」は、住宅ローンや一般的なローンに関する質問に特化して開発されたモデルです。複雑なローンプロセスや住宅ローン申請に関する理解に必要な回答を提供します。

🚀 クイックスタート

このモデルは、金融機関、住宅ローンブローカー、ローン提供者に特に有用です。顧客サポートシステムに組み込んで、ユーザーがローンオプション、住宅ローンの詳細、支払いプランを理解するのに役立てることができます。

✨ 主な機能

• 住宅ローンや一般的なローンに関する質問に特化した回答を提供します。
• 金融機関やローン提供者の顧客サポートシステムに組み込むことができます。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("bitext-llm/Mistral-7B-Mortgage-Loans-v1")
tokenizer = AutoTokenizer.from_pretrained("bitext-llm/Mistral-7B-Mortgage-Loans-v1")

inputs = tokenizer("<s>[INST] What are the requirements for a home loan? [/INST]", return_tensors="pt")
outputs = model.generate(inputs['input_ids'], max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 ドキュメント

モデルアーキテクチャ

このモデルは、MistralForCausalLMアーキテクチャとLlamaTokenizerを利用しています。ベースモデルの基本的な特性を保持しつつ、住宅ローンや一般的なローンの文脈での理解と応答生成に最適化されています。

学習データ

このモデルは、住宅ローンや一般的なローンセクター向けに特別に設計されたデータセットで学習されました。apply_for_loan、check_loan_terms、refinance_loan、customer_serviceなど39の意図が含まれ、それぞれに約1000の例があります。この豊富なデータセットにより、このドメイン内の幅広い質問に対応する能力が保証されます。このデータセットは、Hugging Faceに公開されているbitext/Bitext-customer-support-llm-chatbot-training-datasetと同じ構造化アプローチに従っていますが、住宅ローンや一般的なローンに焦点を当てています。

学習手順

ハイパーパラメータ

• オプティマイザー: AdamW
• 学習率: コサイン学習率スケジューラーを使用した0.0002
• エポック数: 4
• バッチサイズ: 10
• 勾配累積ステップ: 8
• 最大シーケンス長: 8192トークン

環境

• Transformersバージョン: 4.40.0.dev0
• フレームワーク: PyTorch 2.2.1+cu121
• トークナイザー: Tokenizers 0.15.0

制限事項とバイアス

• このモデルはドメイン固有のデータセットで微調整されており、金融アドバイスの範囲外ではうまく機能しない可能性があります。
• ユーザーは、学習データに潜在的なバイアスがあることを認識すべきです。モデルの応答は、これらのバイアスを反映してしまう可能性があります。このモデルは、一般的な住宅ローンやローンの質問に回答するデータセットで学習されているため、特定のユースケースに対して潜在的なバイアスが存在する可能性があります。

倫理的な考慮事項

このモデルは、自動化された金融アドバイスの倫理的な影響を考慮して、責任を持って使用されるべきです。これは金融分野のベースモデルであるため、モデルのアドバイスが人間の専門知識を補完し、関連する金融規制に準拠していることを確認することが重要です。

謝辞

このモデルはBitextによって開発され、Bitextが提供するインフラストラクチャで学習されました。

📄 ライセンス

このモデル「Mistral-7B-Mortgage-Loans-v1」は、Bitext Innovations International, Inc.によってApache License 2.0の下でライセンスされています。このオープンソースライセンスにより、モデルの無料使用、変更、配布が許可されていますが、Bitextに適切なクレジットを与える必要があります。

Apache 2.0ライセンスの要点

• 許容性: ユーザーはこのソフトウェアを自由に使用、変更、配布することができます。
• 帰属表示: このモデルを使用する際には、元の著作権表示とライセンスに従って、Bitext Innovations International, Inc.に適切なクレジットを与える必要があります。
• 特許許諾: ライセンスには、モデルの貢献者からの特許権の許諾が含まれています。
• 無保証: モデルは「現状のまま」提供され、いかなる保証も伴いません。

完全なライセンステキストはApache License 2.0で確認できます。

このライセンスにより、Bitextの知的貢献を尊重しながら、モデルを広く自由に使用することができます。このライセンスを使用する際の詳細な情報や特定の法的な質問については、上記の公式ライセンスドキュメントを参照してください。

情報テーブル

| 属性 | 详情 |
|------|------|
| モデルタイプ | Mistral |
| 学習データ | 住宅ローンや一般的なローンセクター向けに特別に設計されたデータセットで、39の意図が含まれ、それぞれに約1000の例があります。このデータセットは、Hugging Faceに公開されている[bitext/Bitext-customer-support-llm-chatbot-training-dataset](https://huggingface.co/datasets/bitext/Bitext-customer-support-llm-chatbot-training-dataset)と同じ構造化アプローチに従っていますが、住宅ローンや一般的なローンに焦点を当てています。 |