Yoso 4096

🚀 YOSO

YOSOモデルは、シーケンス長4096のマスク言語モデリング（MLM）に使用されます。

🚀 クイックスタート

YOSOモデルは、シーケンス長4096のマスク言語モデリング（MLM）に特化したモデルです。このモデルは、特定の論文で提案された独自のアルゴリズムを用いており、長いシーケンスに対する処理性能に優れています。

✨ 主な機能

• シーケンス長4096のマスク言語モデリング（MLM）に最適化されています。
• Bernoulliサンプリングに基づく自己注意機構を用いることで、計算量を線形に抑えることができます。
• GLUEベンチマークやLong Range Arena（LRA）ベンチマークで良好な性能を発揮します。

📚 ドキュメント

論文情報

YOSOモデルは、Zhanpeng Zeng, Yunyang Xiong, Sathya N. Ravi, Shailesh Acharya, Glenn Fung, Vikas Singhによる You Only Sample (Almost) Once: Linear Cost Self-Attention Via Bernoulli Sampling で提案されました。

論文の概要は以下の通りです。

Transformerベースのモデルは自然言語処理（NLP）で広く使用されています。Transformerモデルの中心的な要素は自己注意機構で、入力シーケンス内のトークンペアの相互作用を捉え、シーケンス長に対して2次の計算量を必要とします。長いシーケンスでこのようなモデルを学習することはコストがかかります。この論文では、局所性感受性ハッシュ（LSH）に基づくBernoulliサンプリング注意機構が、このようなモデルの2次の計算量を線形に削減できることを示しています。自己注意を、原理的には単一のハッシュで一度にサンプリングできるBernoulli乱数に関連付けられた個々のトークンの合計と見なすことで、2次のコストを回避します（実際には、この数は小さな定数になる場合があります）。これにより、LSHの特定の修正（GPUアーキテクチャでの展開を可能にするため）に依存する自己注意を推定する効率的なサンプリングスキームが得られます。我々は、標準的な512シーケンス長のGLUEベンチマークでアルゴリズムを評価し、標準的な事前学習済みTransformerと比較して良好な性能を見せました。長いシーケンスでの性能を評価するためのLong Range Arena（LRA）ベンチマークでは、我々の方法はソフトマックス自己注意と同等の結果を達成しながら、大幅な速度向上とメモリ節約を実現し、多くの場合、他の効率的な自己注意方法を上回ります。コードはこのURLで入手できます。

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='uw-madison/yoso-4096')
>>> unmasker("Paris is the [MASK] of France.")

[{'score': 0.024274500086903572,
  'token': 812,
  'token_str': ' capital',
  'sequence': 'Paris is the capital of France.'},
 {'score': 0.022863076999783516,
  'token': 3497,
  'token_str': ' Republic',
  'sequence': 'Paris is the Republic of France.'},
 {'score': 0.01383623294532299,
  'token': 1515,
  'token_str': ' French',
  'sequence': 'Paris is the French of France.'},
 {'score': 0.013550693169236183,
  'token': 2201,
  'token_str': ' Paris',
  'sequence': 'Paris is the Paris of France.'},
 {'score': 0.011591030284762383,
  'token': 270,
  'token_str': ' President',
  'sequence': 'Paris is the President of France.'}]