TOD XLMR

🚀 TOD-XLMR

TOD-XLMR 是基於 XLM-RoBERTa 的多語言對話專用版本。它在英文對話語料上進行了預訓練，這些語料由九個面向任務的多輪人機對話（TOD）數據集組成，這些數據集在 Wu 等人的論文 TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue 中被提出，並且該模型首次發佈於 此倉庫。

該模型按照 TOD-BERT 中提出的兩個目標進行聯合訓練，包括掩碼語言模型（MLM）和響應對比損失（RCL）。掩碼語言模型是基於 BERT 架構常用的預訓練策略，在該策略中，輸入序列中的隨機標記樣本會被特殊標記 [MASK] 替換，以預測原始的掩碼標記。為了進一步促使模型捕捉對話結構（即對話順序），響應對比損失通過使用帶對比學習的批量負訓練來實現。

🚀 快速開始

如何使用

以下是如何在 PyTorch 中使用該模型來獲取給定文本的特徵：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("umanlp/TOD-XLMR")
model = AutoModelForMaskedLM.from_pretrained("umanlp/TOD-XLMR")

# prepare input
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

或者，你也可以使用 AutoModel 加載預訓練模型並進一步應用於下游任務：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("umanlp/TOD-XLMR")
model = AutoModel("umanlp/TOD-XLMR")

# prepare input
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

📄 許可證

本項目採用 MIT 許可證。