# 軽量化BERT

金融分野の問題マッチングに最適化された軽量化文類似度モデル。蒸留技術により12層BERTを4層に圧縮し、推論効率を大幅に向上

ALBERTは英語コーパスで事前学習された軽量版のBERTバリアントで、パラメータ共有によりメモリ使用量を削減し、マスク言語モデリングと文順予測タスクをサポートします。

これはbert-base-multilingual-casedのカスタマイズされた軽量化バージョンで、英語とウクライナ語の処理を専門にサポートし、元のモデルの表現出力と精度を維持します。

これはbert-base-multilingual-uncasedの簡易版で、語彙表の中のウクライナ語、英語、ロシア語のトークンのみを残しています。

ALBERT Large v2は英語コーパスに基づき、マスク言語モデリング（MLM）目標で事前学習されたTransformerモデルで、パラメータ共有の特徴を持っています。