M

Multilingual Albert Base Cased 128k

cservanによって開発
マスク言語モデリング(MLM)目標で事前学習された多言語ALBERTモデルで、60種以上の言語をサポートし、パラメータ共有の軽量アーキテクチャを持つ
ダウンロード数 277
リリース時間 : 12/20/2023

モデル概要

これは大文字小文字を区別する多言語ALBERTモデルで、自己教師付き方式でウィキペディアテキスト上で事前学習され、下流タスクの微調整に適しています。モデルはTransformer層の重み共有メカニズムを採用し、メモリ使用量が少ない。

モデル特徴

多言語サポート
60種以上の言語の処理をサポートし、主なヨーロッパとアジアの言語を含む
パラメータ共有アーキテクチャ
ALBERT特有のTransformer層の重み共有メカニズムを採用し、モデルのパラメータ数を大幅に削減する
大文字小文字を区別
標準のALBERTとは異なり、このモデルは単語の大文字小文字の形式を区別できる
効率的な事前学習
マスク言語モデリング(MLM)と文順予測(SOP)の2つの事前学習目標を組み合わせる

モデル能力

多言語テキスト理解
文順予測
マスク単語予測
下流タスクの微調整

使用事例

自然言語処理
スロット埋めタスク
対話システムの情報抽出タスクに使用
MultiATIS++データセットで89.14の正解率を達成
テキスト分類
多言語テキスト分類タスクに使用
SNIPSデータセットで96.84の正解率を達成
固有表現認識
テキスト中の固有表現を識別するために使用
CoNLL2003データセットで88.27のF1スコアを達成
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase