Xlarge

🚀 Funnel Transformer xlargeモデル (B10 - 10 - 10 デコーダ付き)

Funnel Transformer xlargeモデルは、ELECTRA と同様の目的で英語コーパス上で学習された事前学習モデルです。このモデルは この論文 で提案され、このリポジトリ で初めて公開されました。このモデルは大文字と小文字を区別せず、「english」と「English」を区別しません。

声明: Funnel Transformerを公開したチームはこのモデルに対してモデルカードを作成していません。このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

このモデルは、与えられたテキストのベクトル表現を抽出するために使用できますが、主に下流タスクでの微調整に使用されます。あなたが興味のあるタスクに対して微調整されたバージョンを モデルセンター で検索することができます。

✨ 主な機能

• 自己教師あり事前学習：Funnel Transformerは、大量の英語データコーパス上で自己教師あり方式で事前学習されたTransformerモデルです。このモデルは、元のテキストのみを使用して事前学習され、人工的なラベル付けを必要とせず、自動的に入力とラベルを生成します。
• 特徴抽出と下流タスク：このモデルは英語の内部表現を学習し、下流タスクに有用な特徴を抽出するために使用できます。たとえば、ラベル付きの文のデータセットがある場合、このモデルが生成する特徴を入力として標準的な分類器を学習させることができます。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていません。Hugging Face関連のライブラリのインストール説明を参考にしてください。

💻 使用例

基本的な使用法

以下は、PyTorchでこのモデルを使用して与えられたテキストの特徴を取得する方法です。

from transformers import FunnelTokenizer, FunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/xlarge")
model = FunnelModel.from_pretrained("funnel-transformer/xlarge")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

高度な使用法

TensorFlowでこのモデルを使用して与えられたテキストの特徴を取得する方法です。

from transformers import FunnelTokenizer, TFFunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/xlarge")
model = TFFunnelModel.from_pretrained("funnel-transformer/xlarge")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

📚 ドキュメント

想定用途と制限

• 元のモデルを使用して与えられたテキストのベクトル表現を抽出することができますが、主に下流タスクでの微調整に使用されます。
• このモデルは、主に文全体（マスクされている場合もある）を使用して決定を行うタスク、例えばシーケンス分類、タグ付け分類、または質問応答タスクに対して微調整することを目的としています。テキスト生成などのタスクには、GPT2などのモデルを検討してください。

学習データ

このモデルは以下のデータセットで事前学習されています。

• BookCorpus：11,038冊の未出版の書籍を含むデータセット。
• 英語版ウィキペディア（リスト、表、および見出しを除く）。
• Clue Web：733,019,372個の英語のウェブページを含むデータセット。
• GigaWord：ニュース通信のテキストデータアーカイブ。
• Common Crawl：生のウェブページデータセット。

引用情報

@misc{dai2020funneltransformer,
    title={Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing},
    author={Zihang Dai and Guokun Lai and Yiming Yang and Quoc V. Le},
    year={2020},
    eprint={2006.03236},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

📄 ライセンス

このモデルはApache-2.0ライセンスを使用しています。

⚠️ 重要な注意

このモデルは主に、文全体（マスクされている場合もある）を使用して決定を行うタスク、例えばシーケンス分類、タグ付け分類、または質問応答タスクに使用されます。テキスト生成などのタスクには、GPT2などのモデルを検討してください。

💡 使用上のヒント

あなたが興味のあるタスクに対して微調整されたバージョンを モデルセンター で検索することができます。