Coherence All Mpnet Base V2

🚀 连贯性测试模型

本模型专为对话连贯性测试而设计，能有效评估回复与问题的相关性和连贯性，可用于提升聊天机器人和对话系统的性能。

🚀 快速开始

你可以按照以下方式使用该模型：

from sentence_transformers import CrossEncoder
model = CrossEncoder('enochlev/coherence-all-mpnet-base-v2')
output = model.predict([["What is your favorite color?", "Blue!"],
                        ["Do you like playing outside?", "I like ice cream."],
                        ["What is your favorite animal?", "I like dogs!"],
                        ["Do you want to go to the park?", "Yes, I want to go on the swings!"],
                        ["What is your favorite food?", "I like playing with blocks."],
                        ["Do you have a pet?", "Yes, I have a cat named Whiskers."],
                        ["What is your favorite thing to do on a sunny day?", "I like playing soccer with my friends."]])

print(output)

输出数组代表连贯性得分，分数越高表示连贯性越强。

✨ 主要特性

• 专为对话连贯性测试设计：该模型是 sentence-transformers/all-mpnet-base-v2 的微调版本，专门用于评估对话的连贯性。
• 使用交叉编码器架构：借助 sentence-transformers 库中的交叉编码器架构，能够准确评估回复与问题的相关性。
• 可直接使用或进一步微调：可以直接用于提升聊天机器人或对话系统的性能，也可以针对特定的对话系统进行进一步微调。

📚 详细文档

模型详情

模型描述

此模型是 sentence-transformers/all-mpnet-base-v2 的微调版本，专为对话连贯性测试而设计。它利用 sentence-transformers 库中的交叉编码器架构，旨在评估给定提示或问题下回复的相关性和连贯性。

• 开发者：Enoch Levandovsky
• 模型类型：交叉编码器
• 语言：英语
• 许可证：更多信息请查看仓库
• 微调基础模型：sentence-transformers/all-mpnet-base-v2

模型来源

• 仓库：Hugging Face 上的模型
• 空间演示：连贯性测试空间

用途

直接使用

该模型旨在评估给定问题或提示下回复的连贯性。它可以直接用于提升聊天机器人或对话系统的性能，通过预测回复的连贯性或相关性，从而提高对话代理的质量。

下游使用

该模型可以针对特定的对话系统进行进一步微调，或作为更大的对话式人工智能框架的组件，以确保回复有意义且符合上下文。

超出适用范围的使用

该模型不适用于需要复杂情感分析、情感基调识别或对话连贯性评估之外的任务。

结果

示例输出中，接近 1 的分数表示回复具有连贯性或相关性。例如：

Output >>> array([0.88097143, 0.04521223, 0.943173  , 0.9436357 , 0.04369843,
                  0.94450355, 0.8392763 ], dtype=float32)

评估与局限性

测试数据、因素和指标

该模型使用 CHILDES 数据集进行了微调与评估，以确保能有效捕捉对话的连贯性。

建议

用户应注意，虽然该模型能预测连贯性，但可能无法完全捕捉到对话中的细微元素，如讽刺或幽默。

环境影响

请参考 机器学习影响计算器 来估算碳排放。虽然没有该模型训练的具体细节，但请考虑采用一般的最佳实践来减少环境影响。

引用

若要引用此模型，请在 Hugging Face 仓库页面和原模型创建者 Enoch Levandovsky 处提供适当的引用信息。

📄 许可证

更多许可证信息请查看仓库。

💡 使用建议

该模型虽然能有效评估对话连贯性，但对于包含讽刺、幽默等细微元素的对话，可能无法完全准确评估。在使用时需注意其局限性。