Large

🚀 ファネルトランスフォーマー（Funnel Transformer）大型モデル (B8 - 8 - 8 デコーダ付き)

ファネルトランスフォーマーは、ELECTRA と同様の目的で英語コーパス上で学習された事前学習モデルです。このモデルは この論文 で提案され、初めて このリポジトリ で公開されました。このモデルは大文字と小文字を区別しません。つまり、"english" と "English" を同じように扱います。

免責事項：ファネルトランスフォーマーを公開したチームはこのモデルのモデルカードを作成していません。このモデルカードは Hugging Face チームによって作成されています。

🚀 クイックスタート

ファネルトランスフォーマーは、大量の英語データコーパス上で自己教師付き学習方式で事前学習されたトランスフォーマー（Transformer）モデルです。つまり、このモデルは人間によるラベル付けが一切行われていない生のテキスト上で事前学習され（これが大量の公開データを使用できる理由です）、自動化されたプロセスによってこれらのテキストから入力とラベルを生成します。

具体的には、小型の言語モデルが入力テキストを擾乱し、このモデルの入力生成器として機能します。事前学習の目的は、どのトークンが元のトークンで、どれが置き換えられたトークンかを予測することで、生成敵対ネットワーク（GAN）の学習に少し似ています。

このようにして、モデルは英語の内部表現を学習し、それを下流タスクに有用な特徴量を抽出するために使用できます。たとえば、ラベル付きの文のデータセットがある場合、BERT モデルが生成する特徴量を入力として標準的な分類器を学習させることができます。

✨ 主な機能

想定用途と制限事項

元のモデルを使用して、与えられたテキストのベクトル表現を抽出することができますが、主に下流タスクでの微調整に使用されます。興味のあるタスクに対して微調整されたバージョンを探すには、モデルセンター を参照してください。

このモデルは、主に文全体（マスクされている場合もある）を使用して決定を下すタスク、たとえばシーケンス分類、トークン分類、または質問応答タスクに対して微調整することを目的としています。テキスト生成などのタスクには、GPT2 のようなモデルを検討する必要があります。

使い方

以下は、このモデルを PyTorch で使用して、与えられたテキストの特徴量を取得する方法の例です。

from transformers import FunnelTokenizer, FunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/large")
model = FunnelModel.from_pretrained("funnel-transformer/large")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow での使用方法は次の通りです。

from transformers import FunnelTokenizer, TFFunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/large")
model = TFFunnelModel.from_pretrained("funnel-transformer/large")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

📚 ドキュメント

学習データ

BERT モデルは以下のデータセットで事前学習されています。

• BookCorpus：11,038 冊の未出版の書籍を含むデータセット。
• 英語版ウィキペディア（リスト、表、見出しを除く）。
• Clue Web：733,019,372 個の英語のウェブページを含むデータセット。
• GigaWord：ニュース通信のテキストデータアーカイブ。
• Common Crawl：生のウェブページのデータセット。

BibTeX 引用と引用情報

@misc{dai2020funneltransformer,
    title={Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing},
    author={Zihang Dai and Guokun Lai and Yiming Yang and Quoc V. Le},
    year={2020},
    eprint={2006.03236},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。