Saute

🚀 👨‍🍳 SAUTE: 話者認識発話埋め込みユニット

SAUTE は、多話者対話を効果的にモデル化するために設計された軽量の話者認識トランスフォーマーアーキテクチャです。これは、EDUレベルの発話埋め込み、話者に敏感なメモリ、および効率的な線形注意機構を組み合わせて、最小限のオーバーヘッドで豊富な会話コンテキストをエンコードします。

🚀 クイックスタート

SAUTEは、以下の用途に最適化されています。

• 🗣️ 複数ターンの会話
• 👥 多話者間の対話
• 🧵 長距離の対話依存関係

これは、EDU埋め込みから話者ごとのメモリを要約し、軽量の線形注意機構を通じてコンテキスト情報を注入することで、完全な自己注意の2次コストを回避します。

✨ 主な機能

• 🧠 話者認識メモリ：対話コンテキストの話者ごとの構造化表現。
• ⚡ 線形注意機構：長い対話に対して効率的かつ拡張性があります。
• 🧩 事前学習済みトランスフォーマー互換：凍結または微調整されたBERTモデルに組み込むことができます。
• 🪶 軽量：2層のモデルよりも約400万パラメータ少なく、強力なマスク言語モデリング（MLM）性能向上を実現します。

📦 インストール

from saute_model import SAUTEConfig, UtteranceEmbedings
from transformers import BertTokenizerFast

# トークナイザーとモデルをロード
tokenizer = BertTokenizerFast.from_pretrained("bert-base-uncased")
model = UtteranceEmbedings.from_pretrained("JustinDuc/saute")

# 入力を準備（例）
outputs = model(
    input_ids=input_ids,
    attention_mask=attention_mask,
    speaker_names=speaker_names
)

📚 ドキュメント

🧠 概要

SAUTEは、以下の用途に最適化されています。

• 🗣️ 複数ターンの会話
• 👥 多話者間の対話
• 🧵 長距離の対話依存関係

これは、EDU埋め込みから話者ごとのメモリを要約し、軽量の線形注意機構を通じてコンテキスト情報を注入することで、完全な自己注意の2次コストを回避します。

🧱 アーキテクチャ

🔍 SAUTEは、発話レベルの埋め込みから構築された話者固有のメモリ要約を用いて、各トークンにコンテキストを付与します。

• EDUレベルエンコーダ：各発話のBERT出力を平均プーリングします。
• 話者メモリ：話者ごとの外積ベースの蓄積。
• コンテキスト化レイヤー：メモリ要約を現在のトークン表現と統合します。

📈 性能（SODAデータセット、マスク言語モデリング）

SAUTEは、多層トランスフォーマーよりも少ないパラメータで最高の精度を達成します。

📚 引用 / 論文

📄 SAUTE: Speaker-Aware Utterance Embedding Unit (PDF)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。