Roberta2roberta L 24 Wikisplit

🚀 Roberta2Roberta_L-24_wikisplit エンコーダーデコーダーモデル

このモデルは、Sascha Rothe、Shashi Narayan、Aliaksei Severynによる この論文 で紹介され、最初に このリポジトリ で公開されました。

このモデルはエンコーダーとデコーダーの両方が roberta-large のチェックポイントで初期化され、WikiSplit データセットの文分割タスクでファインチューニングされたエンコーダーデコーダーモデルです。

免責事項: このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

使い方

このモデルは文分割に使用できます。例えば:

⚠️ 重要な注意

このモデルは "（二重引用符）文字で学習されていません。そのため、テキストをトークナイズする前に、すべての "（二重引用符）を2つの '（単一引用符）に置き換えることをおすすめします。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("google/roberta2roberta_L-24_wikisplit")
model = AutoModelForSeq2SeqLM.from_pretrained("google/roberta2roberta_L-24_wikisplit")

long_sentence = """Due to the hurricane, Lobsterfest has been canceled, making Bob very happy about it and he decides to open Bob 's Burgers for customers who were planning on going to Lobsterfest."""

input_ids = tokenizer(tokenizer.bos_token + long_sentence + tokenizer.eos_token, return_tensors="pt").input_ids
output_ids = model.generate(input_ids)[0]
print(tokenizer.decode(output_ids, skip_special_tokens=True))
# should output
# Due to the hurricane, Lobsterfest has been canceled, making Bob very happy about it. He decides to open Bob's Burgers for customers who were planning on going to Lobsterfest. 

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。