TOD XLMR

🚀 TOD-XLMR

TOD-XLMRは、XLM - RoBERTaに基づく会話に特化した多言語版のモデルです。このモデルは、Wuらによる論文 TOD - BERT: Pre - trained Natural Language Understanding for Task - Oriented Dialogue で提案された、9つの人間同士の多ターンタスク指向対話（TOD）データセットからなる英語会話コーパスで事前学習されており、最初は このリポジトリ で公開されました。

このモデルは、TOD - BERTで提案された2つの目的で共同学習されています。それは、マスク言語モデリング（MLM）と応答対照損失（RCL）です。マスク言語モデリングは、BERTベースのアーキテクチャで一般的に使用される事前学習戦略で、入力シーケンス内のトークンのランダムなサンプルを特殊トークン [MASK] で置き換え、元のマスクされたトークンを予測します。さらに、モデルが対話構造（すなわち、対話の順序）を捉えるようにするために、対照学習を用いたバッチ内負例学習によって応答対照損失が実装されています。

🚀 クイックスタート

TOD-XLMRの概要や特徴について説明します。

✨ 主な機能

• 多言語対応: 様々な言語の会話データに対応しています。
• 会話特化: タスク指向対話に特化した事前学習が行われています。
• 2つの学習目的: マスク言語モデリング（MLM）と応答対照損失（RCL）による学習で、対話構造を捉える能力が向上しています。

💻 使用例

基本的な使用法

以下は、このモデルを使用して与えられたテキストの特徴を取得するPyTorchのコード例です。

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("umanlp/TOD-XLMR")
model = AutoModelForMaskedLM.from_pretrained("umanlp/TOD-XLMR")

# prepare input
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

高度な使用法

AutoModelを使用して事前学習モデルをロードし、下流タスクに適用することもできます。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("umanlp/TOD-XLMR")
model = AutoModel("umanlp/TOD-XLMR")

# prepare input
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。