AIbase
EN
Home
Efficient Mlm M0.15
E

Efficient Mlm M0.15

Developed by princeton-nlp
このモデルは、マスク言語モデリングにおいて15%の内容をマスクすることの有効性を研究し、プレレイヤー正規化手法を採用しています。
大規模言語モデル
Transformers
#プレレイヤー正規化#マスク言語モデリング最適化#カスタムマスク比率
Downloads 116
Release Time : 4/22/2022

Model Overview

このモデルはマスク言語モデリングタスクに焦点を当て、マスク比率がモデル性能に与える影響を探求し、プレレイヤー正規化のアーキテクチャを採用しています。

Model Features

プレレイヤー正規化
プレレイヤー正規化手法を採用しており、これは珍しいアーキテクチャ選択であり、モデル訓練の安定性に影響を与える可能性があります。
マスク比率研究
マスク言語モデリングにおける15%のマスク比率の効果を専門的に研究しました。

Model Capabilities

マスク言語モデリング
テキスト表現学習

Use Cases

自然言語処理研究
マスク戦略研究
異なるマスク比率が言語モデル性能に与える影響を研究するために使用
15%マスク比率の具体的な効果分析を提供
テキスト表現学習
下流タスク事前学習
他のNLPタスクの事前学習モデルとして使用可能
Featured Recommended AI Models
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers Supports Multiple Languages
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers English
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム Chinese
R
uer
2,694
98
AIbase
Empowering the Future, Your AI Solution Knowledge Base
English简体中文繁體中文にほんご
© 2025AIbase