Chinese Electra Small Generator
中国語ELECTRAは哈工大-讯飞共同研究所がGoogleのELECTRAアーキテクチャに基づいて開発した中国語事前学習モデルで、パラメータ数はBERTの1/10ですが性能は同等です。
ダウンロード数 16
リリース時間 : 3/2/2022
モデル概要
ELECTRAアーキテクチャに基づく中国語事前学習モデルで、ジェネレータ-ディスクリミネータ構造を採用した効率的な事前学習が可能で、様々な自然言語処理タスクに適しています。
モデル特徴
効率的な事前学習
ELECTRAの置換トークン検出事前学習方法を採用し、従来のMLMよりも効率的です
パラメータ削減
small版モデルのパラメータ数はBERTの1/10ですが、性能は同等です
中国語最適化
中国語テキストの特性に特化して最適化されたトレーニングを実施
モデル能力
テキスト理解
テキスト表現学習
マスク言語モデリング
使用事例
自然言語処理
テキスト分類
感情分析、ニュース分類などのテキスト分類タスクに使用
質問応答システム
質問応答システムの事前学習ベースモデルとして使用
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98