# 全単語マスキング技術

自然言語理解タスクに優れた中国語DeBERTa-v2ベースモデルで、全単語マスキング技術を採用し、パラメータ数9700万。

このモデルは、bert-large-uncased-whole-word-masking-squad2をsquad_v2とmit_restaurantデータセットで微調整したバージョンで、タグ分類タスクをサポートしています。

大規模なタガログ語テキストで訓練されたBERTバリアントで、全単語マスキング技術を採用し、フィリピン語の自然言語処理タスクに適しています

PubMed抄録で事前学習され、MIMIC-III臨床ノートで追加学習されたBERTモデル、臨床意思決定支援用

NorBERT 3はノルウェー語の事前学習言語モデルシリーズで、大規模なノルウェー語コーパスを使って訓練され、様々な自然言語処理タスクをサポートします。

Robertaアーキテクチャに基づくイタリア語の言語モデルで、SentencePiece分詞と全単語マスキング技術を用いて訓練されています。