Arc Of Conversation

🚀 對話弧線模型

對話弧線預測模型旨在根據對話文本預測其發展弧線。它基於 google/t5-small 模型，並在自定義的對話數據集上進行了微調。該模型可用於將對話文本分析和分類為預定義的弧線。

🚀 快速開始

推理

若要使用此模型進行推理，你需要加載微調後的模型和分詞器。以下是使用 transformers 庫實現的示例：

運行管道

# 使用管道作為高級輔助工具
from transformers import pipeline

convo1 = 'Your conversation text here.'
pipe = pipeline("summarization", model="Falconsai/arc_of_conversation")
res1 = pipe(convo1, max_length=1024, min_length=512, do_sample=False)
print(res1)

在 CPU 上運行

# 直接加載模型
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Falconsai/arc_of_conversation")
model = AutoModelForSeq2SeqLM.from_pretrained("Falconsai/arc_of_conversation")

input_text = "Your conversation Here"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

在 GPU 上運行

# pip install accelerate
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Falconsai/arc_of_conversation")
model = AutoModelForSeq2SeqLM.from_pretrained("Falconsai/arc_of_conversation", device_map="auto")

input_text = "Your conversation Here"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 基於 google/t5-small 模型進行微調，能夠預測對話的發展弧線。
• 可將對話文本分析和分類為預定義的弧線，適用於客戶服務、聊天機器人、對話分析等領域。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

# 使用管道作為高級輔助工具
from transformers import pipeline

convo1 = 'Your conversation text here.'
pipe = pipeline("summarization", model="Falconsai/arc_of_conversation")
res1 = pipe(convo1, max_length=1024, min_length=512, do_sample=False)
print(res1)

高級用法

# 直接加載模型
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Falconsai/arc_of_conversation")
model = AutoModelForSeq2SeqLM.from_pretrained("Falconsai/arc_of_conversation")

input_text = "Your conversation Here"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

📚 詳細文檔

模型詳情

模型描述

模型架構

基礎模型架構為 T5（Text-To-Text Transfer Transformer），它將每個自然語言處理問題都視為文本到文本的問題。此處使用的具體版本是 google/t5-small，並對其進行了微調，以理解和預測對話弧線。

微調數據

該模型在一個包含對話文本及其對應弧線的數據集上進行了微調。數據集應格式化為包含兩列的 CSV 文件：conversation 和 arc。

預期用途

該模型旨在對對話文本的弧線進行分類。它可用於客戶服務、聊天機器人、對話分析等需要理解對話流程的應用領域。

訓練

訓練過程包括以下步驟：

1. 加載和探索數據：加載數據集並進行初步探索，以瞭解數據分佈。
2. 預處理數據：對對話進行分詞，併為 T5 模型做好準備。
3. 微調模型：使用預處理後的數據對 google/t5-small 模型進行微調。
4. 評估模型：在驗證集上評估模型的性能，以確保其學習正確。
5. 保存模型：保存微調後的模型，以備將來使用。

評估

應在單獨的驗證集上評估模型的性能，以確保其能準確預測對話弧線。可以使用準確率、精確率、召回率和 F1 分數等指標來評估其性能。

侷限性

• 數據依賴性：模型的性能高度依賴於訓練數據的質量和代表性。
• 泛化能力：該模型可能無法很好地泛化到與訓練數據顯著不同的對話文本。

倫理考量

在部署模型時，要注意倫理影響，包括但不限於：

• 隱私：確保用於訓練和推理的對話數據不包含敏感或個人身份信息。
• 偏差：注意訓練數據中可能存在的偏差，這些偏差可能會影響模型的預測。

🔧 技術細節

基礎模型架構 T5 將所有自然語言處理問題都轉化為文本到文本的問題，這種設計使得模型具有很強的通用性。通過在自定義的對話數據集上對 google/t5-small 進行微調，模型能夠學習到對話文本和對應弧線之間的映射關係。在訓練過程中，對數據進行預處理和分詞，以適應 T5 模型的輸入要求。評估模型時，使用多種指標來確保其性能的準確性和可靠性。

📄 許可證

本項目採用 MIT 許可證。有關詳細信息，請參閱 LICENSE 文件。

引用

如果在你的研究中使用了此模型，請按以下方式引用：

@misc{conversation_arc_predictor,
  author = {Michael Stattelman},
  title = {Arc of the Conversation Generator},
  year = {2024},
  publisher = {Falcons.ai},
}