Nystromformer 512

🚀 ニストロムフォーマー (Nyströmformer)

ニストロムフォーマー (Nyströmformer) モデルは、マスク言語モデリング（MLM）に使用され、BookCorpus と英語版ウィキペディアでシーケンス長 512 で事前学習されています。このモデルは自然言語処理タスクを効果的に処理でき、長いシーケンスの処理において良好な拡張性を持っています。

🚀 クイックスタート

モデルの紹介

ニストロムフォーマー (Nyströmformer) モデルは、Yunyang Xiong、Zhanpeng Zeng、Rudrasis Chakraborty、Mingxing Tan、Glenn Fung、Yin Li、Vikas Singh らによって論文 Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention で提案されました。

論文の概要は以下の通りです。 Transformer は、幅広い自然言語処理タスクにおいて強力なツールとなっています。Transformer の優れた性能を支える重要なコンポーネントは、各特定のトークンに対する他のトークンの影響や依存関係をエンコードする自注意力機構です。自注意力機構は有用ですが、入力シーケンス長に対する二次的な計算量のため、長いシーケンスへの適用が制限されており、これは現在積極的に研究されている分野です。この制限を解決するために、我々はニストロムフォーマー (Nyströmformer) モデルを提案します。このモデルは、シーケンス長の関数として良好な拡張性を示します。我々のアイデアは、O(n) の計算量で標準的な自注意力機構を近似するニストロム法を採用することに基づいています。ニストロムフォーマー (Nyströmformer) の拡張性により、数千のトークンを含む長いシーケンスにも適用できます。我々は、GLUE ベンチマークと IMDB レビューの複数の下流タスクで評価を行い、標準的なシーケンス長を使用して、我々のニストロムフォーマー (Nyströmformer) モデルが同等の性能を示し、場合によっては標準的な自注意力機構よりもわずかに優れていることを発見しました。Long Range Arena (LRA) ベンチマークの長いシーケンスタスクでは、ニストロムフォーマー (Nyströmformer) は他の効率的な自注意力方法に対して良好な性能を示します。我々のコードは指定された URL で入手できます。

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='uw-madison/nystromformer-512')
>>> unmasker("Paris is the [MASK] of France.")

[{'score': 0.829957902431488,
  'token': 1030,
  'token_str': 'capital',
  'sequence': 'paris is the capital of france.'},
 {'score': 0.022157637402415276,
  'token': 16081,
  'token_str': 'birthplace',
  'sequence': 'paris is the birthplace of france.'},
 {'score': 0.01904447190463543,
  'token': 197,
  'token_str': 'name',
  'sequence': 'paris is the name of france.'},
 {'score': 0.017583081498742104,
  'token': 1107,
  'token_str': 'kingdom',
  'sequence': 'paris is the kingdom of france.'},
 {'score': 0.005948934704065323,
  'token': 148,
  'token_str': 'city',
  'sequence': 'paris is the city of france.'}]