M

Multilingual Albert Base Cased 32k

cservanによって開発
マスク言語モデリングの目的で事前学習された多言語ALBERTモデルで、50種以上の言語をサポートし、大文字小文字を区別します。
ダウンロード数 243
リリース時間 : 12/20/2023

モデル概要

このモデルは、自動教師付き学習方式でウィキペディアの多言語テキスト上で事前学習されたtransformersモデルで、主に特徴抽出と下流タスクの微調整に使用されます。ALBERTアーキテクチャを採用し、パラメータ共有の特性を持ち、メモリ使用量を大幅に削減します。

モデル特徴

多言語サポート
50種以上の言語処理をサポートし、主なヨーロッパとアジアの言語を含みます。
パラメータ共有アーキテクチャ
ALBERT特有の層間パラメータ共有メカニズムを採用し、モデルのパラメータ規模を大幅に削減します。
大文字小文字を区別する
従来のALBERTモデルと比較して、大文字小文字の違いを正確に識別できます。
効率的な事前学習
マスク言語モデリングと文順予測の二重目的で最適化されています。

モデル能力

多言語テキスト理解
文の特徴抽出
下流タスクの微調整
マスクトークン予測

使用事例

自然言語処理
スロット埋めタスク
対話システムの情報抽出タスクに使用されます。
MultiATIS++データセットで88.60の正解率を達成しました。
テキスト分類
多言語テキスト分類のアプリケーションです。
MMNLUタスクで70.76の正解率を達成しました。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase