🚀 连贯性测试模型
本模型专为对话连贯性测试而设计,能有效评估回复与问题的相关性和连贯性,可用于提升聊天机器人和对话系统的性能。
🚀 快速开始
你可以按照以下方式使用该模型:
from sentence_transformers import CrossEncoder
model = CrossEncoder('enochlev/coherence-all-mpnet-base-v2')
output = model.predict([["What is your favorite color?", "Blue!"],
["Do you like playing outside?", "I like ice cream."],
["What is your favorite animal?", "I like dogs!"],
["Do you want to go to the park?", "Yes, I want to go on the swings!"],
["What is your favorite food?", "I like playing with blocks."],
["Do you have a pet?", "Yes, I have a cat named Whiskers."],
["What is your favorite thing to do on a sunny day?", "I like playing soccer with my friends."]])
print(output)
输出数组代表连贯性得分,分数越高表示连贯性越强。
✨ 主要特性
- 专为对话连贯性测试设计:该模型是
sentence-transformers/all-mpnet-base-v2
的微调版本,专门用于评估对话的连贯性。
- 使用交叉编码器架构:借助 sentence-transformers 库中的交叉编码器架构,能够准确评估回复与问题的相关性。
- 可直接使用或进一步微调:可以直接用于提升聊天机器人或对话系统的性能,也可以针对特定的对话系统进行进一步微调。
📚 详细文档
模型详情
模型描述
此模型是 sentence-transformers/all-mpnet-base-v2
的微调版本,专为对话连贯性测试而设计。它利用 sentence-transformers 库中的交叉编码器架构,旨在评估给定提示或问题下回复的相关性和连贯性。
- 开发者:Enoch Levandovsky
- 模型类型:交叉编码器
- 语言:英语
- 许可证:更多信息请查看仓库
- 微调基础模型:sentence-transformers/all-mpnet-base-v2
模型来源
用途
直接使用
该模型旨在评估给定问题或提示下回复的连贯性。它可以直接用于提升聊天机器人或对话系统的性能,通过预测回复的连贯性或相关性,从而提高对话代理的质量。
下游使用
该模型可以针对特定的对话系统进行进一步微调,或作为更大的对话式人工智能框架的组件,以确保回复有意义且符合上下文。
超出适用范围的使用
该模型不适用于需要复杂情感分析、情感基调识别或对话连贯性评估之外的任务。
结果
示例输出中,接近 1 的分数表示回复具有连贯性或相关性。例如:
Output >>> array([0.88097143, 0.04521223, 0.943173 , 0.9436357 , 0.04369843,
0.94450355, 0.8392763 ], dtype=float32)
评估与局限性
测试数据、因素和指标
该模型使用 CHILDES 数据集进行了微调与评估,以确保能有效捕捉对话的连贯性。
建议
用户应注意,虽然该模型能预测连贯性,但可能无法完全捕捉到对话中的细微元素,如讽刺或幽默。
环境影响
请参考 机器学习影响计算器 来估算碳排放。虽然没有该模型训练的具体细节,但请考虑采用一般的最佳实践来减少环境影响。
引用
若要引用此模型,请在 Hugging Face 仓库页面和原模型创建者 Enoch Levandovsky 处提供适当的引用信息。
📄 许可证
更多许可证信息请查看仓库。
属性 |
详情 |
模型类型 |
交叉编码器 |
语言 |
英语 |
微调基础模型 |
sentence-transformers/all-mpnet-base-v2 |
💡 使用建议
该模型虽然能有效评估对话连贯性,但对于包含讽刺、幽默等细微元素的对话,可能无法完全准确评估。在使用时需注意其局限性。