Prophetnet Large Uncased

🚀 prophetnet-large-uncased

ProphetNetの事前学習済みの重みです。
ProphetNetは、未来のn-gram予測と呼ばれる新しい自己教師付き目標を持つ、シーケンス-to-シーケンス学習用の新しい事前学習言語モデルです。
ProphetNetは、nストリームデコーダーを使って、より多くの未来のトークンを予測することができます。元の実装は、githubリポジトリのFairseqバージョンです。

🚀 クイックスタート

この事前学習済みモデルは、シーケンス-to-シーケンスタスクで微調整することができます。例えば、以下のように見出し生成タスクで学習することができます。

💻 使用例

基本的な使用法

# 使用示例代码保持不变
from transformers import ProphetNetForConditionalGeneration, ProphetNetTokenizer

model = ProphetNetForConditionalGeneration.from_pretrained("microsoft/prophetnet-large-uncased")
tokenizer = ProphetNetTokenizer.from_pretrained("microsoft/prophetnet-large-uncased")

input_str = "the us state department said wednesday it had received no formal word from bolivia that it was expelling the us ambassador there but said the charges made against him are `` baseless ."
target_str = "us rejects charges against its ambassador in bolivia"

input_ids = tokenizer(input_str, return_tensors="pt").input_ids
labels = tokenizer(target_str, return_tensors="pt").input_ids

loss = model(input_ids, labels=labels).loss

📚 ドキュメント

引用

@article{yan2020prophetnet,
  title={Prophetnet: Predicting future n-gram for sequence-to-sequence pre-training},
  author={Yan, Yu and Qi, Weizhen and Gong, Yeyun and Liu, Dayiheng and Duan, Nan and Chen, Jiusheng and Zhang, Ruofei and Zhou, Ming},
  journal={arXiv preprint arXiv:2001.04063},
  year={2020}
}