Large
L
Large
funnel-transformerによって開発
英語コーパスに基づいて事前学習されたTransformerモデルで、ELECTRAに類似した目的関数を採用し、自己教師付き方式で英語の内在的な表現を学習します。
ダウンロード数 190
リリース時間 : 3/2/2022
モデル概要
このモデルは、自己教師付き方式で大規模な英語テキスト上で事前学習されたTransformerモデルで、主にテキスト特徴を抽出して下流タスクをサポートするために使用されます。
モデル特徴
自己教師付き事前学習
元のテキストを使用して事前学習を行い、人工的なアノテーションは必要なく、自動化されたプロセスでテキストから入力とラベルを生成します。
ELECTRA類似の目的関数
小型の言語モデルを使用して入力テキストを破壊し、生成器として機能させ、どのトークンが元の内容であるか、または置き換えられたかを予測します。
効率的なシーケンス処理
漏斗型構造は、シーケンスの冗長性をフィルタリングすることで、効率的な言語処理を実現します。
モデル能力
テキスト特徴抽出
シーケンス分類
タグ分類
質問応答タスク
使用事例
自然言語処理
テキスト分類
モデルが生成した特徴を利用して標準的な分類器を訓練し、テキスト分類を行います。
質問応答システム
モデルが抽出したテキスト特徴に基づいて質問応答システムを構築します。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98