Arc Of Conversation

🚀 对话弧线模型

对话弧线预测模型旨在根据对话文本预测其发展弧线。它基于 google/t5-small 模型，并在自定义的对话数据集上进行了微调。该模型可用于将对话文本分析和分类为预定义的弧线。

🚀 快速开始

推理

若要使用此模型进行推理，你需要加载微调后的模型和分词器。以下是使用 transformers 库实现的示例：

运行管道

# 使用管道作为高级辅助工具
from transformers import pipeline

convo1 = 'Your conversation text here.'
pipe = pipeline("summarization", model="Falconsai/arc_of_conversation")
res1 = pipe(convo1, max_length=1024, min_length=512, do_sample=False)
print(res1)

在 CPU 上运行

# 直接加载模型
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Falconsai/arc_of_conversation")
model = AutoModelForSeq2SeqLM.from_pretrained("Falconsai/arc_of_conversation")

input_text = "Your conversation Here"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在 GPU 上运行

# pip install accelerate
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Falconsai/arc_of_conversation")
model = AutoModelForSeq2SeqLM.from_pretrained("Falconsai/arc_of_conversation", device_map="auto")

input_text = "Your conversation Here"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 基于 google/t5-small 模型进行微调，能够预测对话的发展弧线。
• 可将对话文本分析和分类为预定义的弧线，适用于客户服务、聊天机器人、对话分析等领域。

📦 安装指南

文档中未提及具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

# 使用管道作为高级辅助工具
from transformers import pipeline

convo1 = 'Your conversation text here.'
pipe = pipeline("summarization", model="Falconsai/arc_of_conversation")
res1 = pipe(convo1, max_length=1024, min_length=512, do_sample=False)
print(res1)

高级用法

# 直接加载模型
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Falconsai/arc_of_conversation")
model = AutoModelForSeq2SeqLM.from_pretrained("Falconsai/arc_of_conversation")

input_text = "Your conversation Here"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

📚 详细文档

模型详情

模型描述

模型架构

基础模型架构为 T5（Text-To-Text Transfer Transformer），它将每个自然语言处理问题都视为文本到文本的问题。此处使用的具体版本是 google/t5-small，并对其进行了微调，以理解和预测对话弧线。

微调数据

该模型在一个包含对话文本及其对应弧线的数据集上进行了微调。数据集应格式化为包含两列的 CSV 文件：conversation 和 arc。

预期用途

该模型旨在对对话文本的弧线进行分类。它可用于客户服务、聊天机器人、对话分析等需要理解对话流程的应用领域。

训练

训练过程包括以下步骤：

1. 加载和探索数据：加载数据集并进行初步探索，以了解数据分布。
2. 预处理数据：对对话进行分词，并为 T5 模型做好准备。
3. 微调模型：使用预处理后的数据对 google/t5-small 模型进行微调。
4. 评估模型：在验证集上评估模型的性能，以确保其学习正确。
5. 保存模型：保存微调后的模型，以备将来使用。

评估

应在单独的验证集上评估模型的性能，以确保其能准确预测对话弧线。可以使用准确率、精确率、召回率和 F1 分数等指标来评估其性能。

局限性

• 数据依赖性：模型的性能高度依赖于训练数据的质量和代表性。
• 泛化能力：该模型可能无法很好地泛化到与训练数据显著不同的对话文本。

伦理考量

在部署模型时，要注意伦理影响，包括但不限于：

• 隐私：确保用于训练和推理的对话数据不包含敏感或个人身份信息。
• 偏差：注意训练数据中可能存在的偏差，这些偏差可能会影响模型的预测。

🔧 技术细节

基础模型架构 T5 将所有自然语言处理问题都转化为文本到文本的问题，这种设计使得模型具有很强的通用性。通过在自定义的对话数据集上对 google/t5-small 进行微调，模型能够学习到对话文本和对应弧线之间的映射关系。在训练过程中，对数据进行预处理和分词，以适应 T5 模型的输入要求。评估模型时，使用多种指标来确保其性能的准确性和可靠性。

📄 许可证

本项目采用 MIT 许可证。有关详细信息，请参阅 LICENSE 文件。

引用

如果在你的研究中使用了此模型，请按以下方式引用：

@misc{conversation_arc_predictor,
  author = {Michael Stattelman},
  title = {Arc of the Conversation Generator},
  year = {2024},
  publisher = {Falcons.ai},
}