Intermediate

🚀 ファネルトランスフォーマー中間モデル (デコーダ付きB6 - 6 - 6)

英語で、ELECTRA と同様の目的で事前学習されたモデルです。このモデルは この論文 で紹介され、このリポジトリ で最初に公開されました。このモデルは大文字小文字を区別しません。つまり、"english" と "English" を区別しません。

免責事項: ファネルトランスフォーマーを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

モデルの説明

ファネルトランスフォーマーは、自己教師付き学習によって大量の英語データセットで事前学習されたトランスフォーマーモデルです。つまり、人間がラベル付けを行わず、生のテキストのみを使用して、自動的に入力とラベルを生成するプロセスで事前学習されます（このため、多くの公開データを利用できます）。

具体的には、小さな言語モデルが入力テキストを破損させ、このモデルの入力生成器として機能します。事前学習の目的は、どのトークンが元のもので、どれが置き換えられたものかを予測することで、GANのトレーニングに少し似ています。

この方法で、モデルは英語の内部表現を学習し、下流タスクに役立つ特徴を抽出するために使用できます。たとえば、ラベル付きの文のデータセットがある場合、BERTモデルが生成する特徴を入力として、標準的な分類器を学習させることができます。

想定される使用法と制限

生のモデルを使用して、与えられたテキストのベクトル表現を抽出することができますが、主に下流タスクでファインチューニングすることを想定しています。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

このモデルは主に、文全体（潜在的にマスクされた）を使用して判断を行うタスク、例えばシーケンス分類、トークン分類、質問応答などでファインチューニングすることを目的としています。テキスト生成などのタスクでは、GPT2のようなモデルを検討する必要があります。

📦 インストール

使い方

ここでは、PyTorchで与えられたテキストの特徴を取得するためにこのモデルを使用する方法を示します。

from transformers import FunnelTokenizer, FunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/intermediate")
model = FunnelModel.from_pretrained("funnel-transformer/intermediate")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlowでの使用方法は以下の通りです。

from transformers import FunnelTokenizer, TFFunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/intermediate")
model = TFFunnelModel.from_pretrained("funnel-transformer/intermediatesmall")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

📚 ドキュメント

トレーニングデータ

このモデルは以下のデータセットで事前学習されています。

• BookCorpus：11,038冊の未公開の書籍から構成されるデータセット
• 英語版ウィキペディア（リスト、表、ヘッダーを除く）
• Clue Web：733,019,372ページの英語のウェブページからなるデータセット
• GigaWord：ニュースワイヤーのテキストデータのアーカイブ
• Common Crawl：生のウェブページのデータセット

BibTeXエントリと引用情報

@misc{dai2020funneltransformer,
    title={Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing},
    author={Zihang Dai and Guokun Lai and Yiming Yang and Quoc V. Le},
    year={2020},
    eprint={2006.03236},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。