L

Large

funnel-transformerによって開発
英語コーパスに基づいて事前学習されたTransformerモデルで、ELECTRAに類似した目的関数を採用し、自己教師付き方式で英語の内在的な表現を学習します。
ダウンロード数 190
リリース時間 : 3/2/2022

モデル概要

このモデルは、自己教師付き方式で大規模な英語テキスト上で事前学習されたTransformerモデルで、主にテキスト特徴を抽出して下流タスクをサポートするために使用されます。

モデル特徴

自己教師付き事前学習
元のテキストを使用して事前学習を行い、人工的なアノテーションは必要なく、自動化されたプロセスでテキストから入力とラベルを生成します。
ELECTRA類似の目的関数
小型の言語モデルを使用して入力テキストを破壊し、生成器として機能させ、どのトークンが元の内容であるか、または置き換えられたかを予測します。
効率的なシーケンス処理
漏斗型構造は、シーケンスの冗長性をフィルタリングすることで、効率的な言語処理を実現します。

モデル能力

テキスト特徴抽出
シーケンス分類
タグ分類
質問応答タスク

使用事例

自然言語処理
テキスト分類
モデルが生成した特徴を利用して標準的な分類器を訓練し、テキスト分類を行います。
質問応答システム
モデルが抽出したテキスト特徴に基づいて質問応答システムを構築します。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase