Saute

🚀 👨‍🍳 SAUTE：說話者感知話語嵌入單元

SAUTE 是一種輕量級、具備說話者感知能力的Transformer架構，專為有效建模多說話者對話而設計。它結合了 EDU級話語嵌入、說話者敏感記憶 和 高效線性注意力機制，以最小的開銷對豐富的對話上下文進行編碼。

🚀 快速開始

安裝依賴

from saute_model import SAUTEConfig, UtteranceEmbedings
from transformers import BertTokenizerFast

# 加載分詞器和模型
tokenizer = BertTokenizerFast.from_pretrained("bert-base-uncased")
model = UtteranceEmbedings.from_pretrained("JustinDuc/saute")

# 準備輸入（示例）
outputs = model(
    input_ids=input_ids,
    attention_mask=attention_mask,
    speaker_names=speaker_names
)

✨ 主要特性

• 🧠 說話者感知記憶：以結構化方式為每個說話者表示對話上下文。
• ⚡ 線性注意力機制：高效且可擴展至長對話。
• 🧩 與預訓練Transformer兼容：可以接入凍結或微調後的BERT模型。
• 🪶 輕量級：比兩層模型少約400萬個參數，且在掩碼語言建模（MLM）任務上有顯著的性能提升。

📚 詳細文檔

🧠 概述

SAUTE適用於：

• 🗣️ 多輪對話
• 👥 多說話者交互
• 🧵 長距離對話依賴

它通過從EDU嵌入中總結每個說話者的記憶，並通過輕量級線性注意力機制注入上下文信息，避免了全自注意力機制的二次成本。

🧱 架構

🔍 SAUTE利用從話語級嵌入構建的特定說話者記憶摘要，為每個標記提供上下文信息。

• EDU級編碼器：對每個話語的BERT輸出進行均值池化。
• 說話者記憶：基於外積為每個說話者進行累積。
• 上下文層：將記憶摘要與當前標記表示相結合。

📈 性能（在SODA數據集的掩碼語言建模任務上）

SAUTE在使用比多層Transformer更少參數的情況下，實現了最佳準確率。

📚 引用 / 論文

📄 SAUTE: Speaker-Aware Utterance Embedding Unit (PDF)

📄 許可證

本項目採用MIT許可證。

📦 模型信息