Roberta2roberta L 24 Wikisplit

🚀 Roberta2Roberta_L-24_wikisplit 編碼器-解碼器模型

該模型是一種編碼器 - 解碼器模型，可用於句子拆分任務。它基於 roberta-large 預訓練權重進行初始化，並在 WikiSplit 數據集上針對句子拆分任務進行了微調。

🚀 快速開始

模型來源

該模型由 Sascha Rothe、Shashi Narayan、Aliaksei Severyn 在 這篇論文 中提出，並首次在 這個倉庫 中發佈。

注意事項

⚠️ 重要提示

該模型未對 "（雙引號）字符進行訓練，因此在對文本進行分詞之前，建議將所有 "（雙引號）替換為兩個單引號 '。

代碼示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("google/roberta2roberta_L-24_wikisplit")
model = AutoModelForSeq2SeqLM.from_pretrained("google/roberta2roberta_L-24_wikisplit")

long_sentence = """Due to the hurricane, Lobsterfest has been canceled, making Bob very happy about it and he decides to open Bob 's Burgers for customers who were planning on going to Lobsterfest."""

input_ids = tokenizer(tokenizer.bos_token + long_sentence + tokenizer.eos_token, return_tensors="pt").input_ids
output_ids = model.generate(input_ids)[0]
print(tokenizer.decode(output_ids, skip_special_tokens=True))
# 預期輸出
# Due to the hurricane, Lobsterfest has been canceled, making Bob very happy about it. He decides to open Bob's Burgers for customers who were planning on going to Lobsterfest. 

📄 許可證

本模型採用 Apache-2.0 許可證。

聲明：此模型卡片由 Hugging Face 團隊編寫。