M

Medium Base

funnel-transformerによって開発
英語コーパスで事前学習されたTransformerモデルで、ELECTRAに似た自己教師あり学習方式を採用し、置換されたトークンを予測することで訓練されます。
ダウンロード数 69
リリース時間 : 3/2/2022

モデル概要

このモデルは自己教師あり学習により大量の英語テキストで事前学習されており、テキスト特徴の抽出や下流タスクのファインチューニングに適しており、特に文の要約が必要なタスクに最適です。

モデル特徴

効率的なシーケンス処理
漏斗型構造でシーケンス長を圧縮し、出力は入力長の4分の1となり、処理効率が向上します。
自己教師あり事前学習
ELECTRAに似た敵対的訓練方式を採用し、置換されたトークンを予測することで言語表現を学習します。
大文字小文字の区別なし
大文字小文字が異なる同じ単語を同一トークンとして扱い、テキスト処理を簡素化します。

モデル能力

テキスト特徴抽出
シーケンス分類
トークン分類
質問応答システム

使用事例

テキスト分析
感情分析
文や段落の感情傾向を分類します
テキスト分類
テキストを事前定義されたカテゴリに分類します
情報抽出
固有表現認識
テキスト中の人名、地名、組織名などのエンティティを認識します
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase