Saute

🚀 👨‍🍳 SAUTE：说话者感知话语嵌入单元

SAUTE 是一种轻量级、具备说话者感知能力的Transformer架构，专为有效建模多说话者对话而设计。它结合了 EDU级话语嵌入、说话者敏感记忆 和 高效线性注意力机制，以最小的开销对丰富的对话上下文进行编码。

🚀 快速开始

安装依赖

from saute_model import SAUTEConfig, UtteranceEmbedings
from transformers import BertTokenizerFast

# 加载分词器和模型
tokenizer = BertTokenizerFast.from_pretrained("bert-base-uncased")
model = UtteranceEmbedings.from_pretrained("JustinDuc/saute")

# 准备输入（示例）
outputs = model(
    input_ids=input_ids,
    attention_mask=attention_mask,
    speaker_names=speaker_names
)

✨ 主要特性

• 🧠 说话者感知记忆：以结构化方式为每个说话者表示对话上下文。
• ⚡ 线性注意力机制：高效且可扩展至长对话。
• 🧩 与预训练Transformer兼容：可以接入冻结或微调后的BERT模型。
• 🪶 轻量级：比两层模型少约400万个参数，且在掩码语言建模（MLM）任务上有显著的性能提升。

📚 详细文档

🧠 概述

SAUTE适用于：

• 🗣️ 多轮对话
• 👥 多说话者交互
• 🧵 长距离对话依赖

它通过从EDU嵌入中总结每个说话者的记忆，并通过轻量级线性注意力机制注入上下文信息，避免了全自注意力机制的二次成本。

🧱 架构

🔍 SAUTE利用从话语级嵌入构建的特定说话者记忆摘要，为每个标记提供上下文信息。

• EDU级编码器：对每个话语的BERT输出进行均值池化。
• 说话者记忆：基于外积为每个说话者进行累积。
• 上下文层：将记忆摘要与当前标记表示相结合。

📈 性能（在SODA数据集的掩码语言建模任务上）

SAUTE在使用比多层Transformer更少参数的情况下，实现了最佳准确率。

📚 引用 / 论文

📄 SAUTE: Speaker-Aware Utterance Embedding Unit (PDF)

📄 许可证

本项目采用MIT许可证。

📦 模型信息