🚀 Mistral-7B-Insurance
Mistral-7B-Insurance 是一款专为保险领域定制的模型,它基于 Mistral-7B-Instruct-v0.2 进行微调,能够高效准确地解答各类保险相关问题,为保险行业的聊天机器人、虚拟助手和副驾驶等应用提供有力支持。
🚀 快速开始
本模型专为保险领域的聊天机器人、虚拟助手和副驾驶创建而设计,是 Bitext 两步式大语言模型微调方法的第一步,能为客户的保险需求提供快速准确的答案。但请注意,它不适用于非保险相关问题,也不能用于提供健康、法律或关键安全建议。
✨ 主要特性
- 针对性优化:基于 Mistral-7B-Instruct-v0.2 微调,专为保险领域定制,能精准应对保险相关问题。
- 丰富的训练数据:在包含 39 种保险相关意图的 Bitext 保险数据集上进行微调,每种意图约有 1000 个示例,能有效处理广泛的保险问题。
- 保留基础能力:采用
MistralForCausalLM
架构和 LlamaTokenizer
,在保留基础模型能力的同时,增强了保险相关交互能力。
📦 安装指南
暂未提供安装相关内容,可参考使用示例中的代码,确保所需依赖库已正确安装。
💻 使用示例
基础用法
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
device = 'cuda' if torch.cuda.is_available() else 'cpu'
model = AutoModelForCausalLM.from_pretrained("bitext/Mistral-7B-Insurance")
tokenizer = AutoTokenizer.from_pretrained("bitext/Mistral-7B-Insurance")
messages = [
{"role": "system", "content": "You are an expert in customer support for Insurance."},
{"role": "user", "content": "I want help seeing my health insurance"},
]
encoded = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encoded.to(device)
model.to(device)
generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])
📚 详细文档
模型架构
本模型采用 MistralForCausalLM
架构和 LlamaTokenizer
,在保留基础模型能力的同时,针对保险相关交互进行了专门增强。
训练数据
模型在 Bitext 保险数据集 上进行微调,该数据集包含多种保险相关意图,如购买保险政策、安排预约、查看付款、计算保险报价、协商和解等,共 39 种意图,每种意图约有 1000 个示例。该数据集遵循与我们在 Hugging Face 上发布的 bitext/Bitext-customer-support-llm-chatbot-training-dataset 相同的结构化方法,但侧重于保险领域。
训练过程
超参数
属性 |
详情 |
优化器 |
AdamW |
学习率 |
0.0002,采用余弦学习率调度器 |
训练轮数 |
1 |
批次大小 |
4 |
梯度累积步数 |
4 |
最大序列长度 |
8192 个标记 |
环境
属性 |
详情 |
Transformers 版本 |
4.43.4 |
框架 |
PyTorch 2.3.1+cu121 |
分词器 |
Tokenizers 0.19.1 |
局限性和偏差
- 模型针对保险特定上下文进行训练,在不相关领域可能表现不佳。
- 训练数据中可能存在的偏差会影响回复的中立性,建议用户批判性地评估回复内容。
伦理考量
使用该技术时应谨慎思考,确保在必要情况下不替代人类判断,特别是在敏感情况下。
致谢
本模型由 Bitext 使用专有数据和技术开发和训练。
📄 许可证
本模型 “Mistral-7B-Insurance” 由 Bitext Innovations International, Inc. 根据 Apache 许可证 2.0 授权。该开源许可证允许免费使用、修改和分发模型,但需向 Bitext 提供适当的引用。
Apache 2.0 许可证要点
- 许可权限:允许用户自由使用、修改和分发本软件。
- 归属要求:使用本模型时,必须按照原始版权声明和许可证向 Bitext Innovations International, Inc. 提供适当的引用。
- 专利授权:许可证包含模型贡献者授予的专利权利。
- 无担保声明:模型按 “原样” 提供,不提供任何形式的保证。
您可以在 Apache 许可证 2.0 查看完整的许可证文本。