# マスク言語モデル

ロシア版のモダンな単方向・双方向エンコーダーTransformerモデルで、約2兆のロシア語、英語、コードデータのトークンで事前学習され、最大8,192トークンのコンテキスト長をサポートします。

Italian ModernBERTはModernBERTのイタリア語特化バージョンで、イタリア語テキストに特化して事前学習されています。

HPLTプロジェクトがリリースしたスロバキア語単一言語BERTモデルで、LTG-BERTアーキテクチャに基づいて訓練され、マスク言語モデリングタスクに適しています

MizBERTはミゾ語テキストコーパスで事前学習されたマスク言語モデル（MLM）で、BERTアーキテクチャを採用し、ミゾ語の語彙の文脈表現を効果的に学習できます。

BARTSmilesはBARTアーキテクチャに基づく生成型マスク言語モデルで、分子特性とSMILES文字列処理に特化しています。

PhayaThaiBERTはタイ語に基づいた基本的なBERTモデルで、タイ語テキスト処理タスクに適しています。

GPN-MSAはヒトおよび他の89種の脊椎動物で訓練された言語モデルで、DNA配列解析と変異効果予測に特化しています。

ESM-2はマスク言語モデリング目標で訓練された最先端のタンパク質モデルで、タンパク質配列の分析と予測タスクに適しています

RuLeanALBERT はロシア語事前学習用のマスク言語モデルで、メモリ効率の高いアーキテクチャを採用しています。

MacBERTをファインチューニングしたマスク言語モデルで、中国語の誤字修正に使用

BERTアーキテクチャに基づく仏教サンスクリットマスク言語モデルで、仏教サンスクリットテキスト処理専用に設計されています

トルコ語向けのBERTスタイルのマスク言語モデルで、文字レベルで動作し、SpanBERTのような文字スパンマスク手法を用いて事前学習されています。

これはCC-100データセットで事前学習されたRoBERTaモデルで、ベラルーシ語テキスト処理タスクに適しています。

これは東北大学のBERT large JapaneseモデルをRustで使用可能な形式に変換したバージョンです

知識蒸留技術に基づいて事前学習されたBERTの変種モデルで、隠れ層の次元は240で、12個のアテンションヘッドを備え、マスク言語モデリングタスクに適しています。

TAPAS (Table Parser) はGoogle Researchによって開発された表ベースの事前学習言語モデルで、表データと自然言語クエリの処理に特化しています。

TAPASは、表データと関連するクエリを処理するために特別に設計された、表ベースの事前学習言語モデルです。

TAPASは表データに基づく事前学習言語モデルで、表関連の自然言語タスクを処理するために特別に設計されています。

これはCodeSearchNetデータセットを用いて事前学習されたRoBERTaモデルで、Golangのマスク言語モデルタスクに特化して設計されています。

これはツワナ語に特化したマスク言語モデルで、南アフリカの低リソース言語のNLP分野における性能向上を目的としています。

tunbert_ziedはチュニジア方言に基づいた言語モデルで、RoBERTaに類似したアーキテクチャを持ち、60万以上のチュニジア方言フレーズでトレーニングされています。

AlephBERTは、ヘブライ語に特化した最先端の言語モデルで、GoogleのBERTアーキテクチャを基に、ヘブライ語テキスト処理のために設計されています。

KoBERT-LMは韓国語に最適化された事前学習言語モデルで、BERTアーキテクチャを基に、韓国語テキストに対してさらに事前学習を行っています。

Bangla BERT ベーシックはBERTアーキテクチャに基づいて事前学習されたベンガル語言語モデルで、様々な下流NLPタスクをサポートします。

RoBERTaアーキテクチャに基づくインドネシア語マスク言語モデルで、OSCARコーパスで学習され、検証精度62.45%

VetBERTは、獣医臨床ノートの処理に特化した事前学習言語モデルで、Bio_ClinicalBERTをベースに獣医医学分野のデータでさらに学習されています。

現在最先端のヘブライ語言語モデル。BERTアーキテクチャに基づいています。

これはタイ語ウィキペディアのテキストで事前学習されたRoBERTaモデルで、BertTokenizerFastに適応するために文字レベルの埋め込みを採用しています。

青空文庫のテキストに基づき、文字トークナイザーを使用して事前学習されたRoBERTaモデルで、日本語テキスト処理タスクに適しています。

青空文庫テキストで事前学習された日本語RoBERTa小型モデル、様々な下流NLPタスクに適応

これは日本語ウィキペディアのテキストを使って事前学習されたBERTモデルで、bert-large-japanese-charをベースに、文字埋め込み機能を強化することでより多くの漢字をサポートしています。