# マスク言語モデリング

modernBERT-baseアーキテクチャに基づく日本語大規模言語モデル、最大8192のシーケンス長をサポート、3.4TBの日本語コーパスで訓練

SyllaBERTaは、古代ギリシャ語テキスト処理のために設計された、音節レベル分かち書きを採用した実験的なTransformerベースのマスク言語モデルです。

DUOはテキスト生成用の事前学習モデルで、マスク言語モデリングタスクに使用でき、OpenWebTextコーパスで訓練され、良好な性能を持っています。

1兆の高品質なフランス語テキストで事前学習されたフランス語言語モデル、ModernBERTのフランス語版

ModernCamemBERTは1Tの高品質なフランス語テキストコーパスで事前学習されたフランス語言語モデルで、ModernBERTのフランス語版であり、長いコンテキストと効率的な推論速度に焦点を当てています。

非コードRNAデータに基づき、マスク言語モデリング（MLM）目標で事前学習されたRNA基礎モデル

DUOはTransformersライブラリに基づく事前学習モデルで、マスク言語モデリングタスクに特化しており、自然言語処理分野に適用されます。

medBERT-baseはBERTベースのモデルで、医学および消化器学テキストのマスク言語モデリングタスクに特化しています。

XLM-Robertaベースモデルをファインチューニングしたバージョンで、RoPE（回転位置エンコーディング）を元の位置埋め込みに置き換え、2048シーケンス長をサポート

CamemBERTv2は2750億のフランス語テキストコーパスで事前学習されたフランス語言語モデルで、CamemBERTの第2世代バージョンです。RoBERTaアーキテクチャを採用し、トークナイザーとトレーニングデータを最適化しました。

Ankh3はT5アーキテクチャに基づくタンパク質言語モデルで、マスク言語モデリングと配列補完タスクを連合最適化することで事前学習され、タンパク質の特徴抽出と配列分析に適しています。

RiNALMoはマスク言語モデリング（MLM）目標で事前学習された非コードRNA（ncRNA）モデルで、大量の非コードRNA配列上で自己教師あり方式で訓練されています。

RoBERTaアーキテクチャに基づくカザフ語言語モデルで、RobertaForMaskedLMを使用してゼロからトレーニングされ、カザフ語テキスト処理タスクに適しています。

CodeBERTaはRoBERTaアーキテクチャに基づくコード理解モデルで、複数のプログラミング言語向けに特別に訓練されており、コード関連タスクを効率的に処理できます。

SaudiBERTは、サウジアラビア方言テキストに特化した最初の事前学習大規模言語モデルで、大規模なサウジアラビアのツイッターとフォーラムのコーパスを基に訓練されています。

Caduceus-PSは逆相補等変性を持つDNA配列モデリングモデルで、長い配列処理のために設計されています。

マスク言語モデリング(MLM)目標で事前学習された多言語ALBERTモデルで、60種以上の言語をサポートし、パラメータ共有の軽量アーキテクチャを持つ

マスク言語モデリング（MLM）目標で事前学習された多言語ALBERTモデル、64k語彙サイズをサポート、大文字小文字を区別

マスク言語モデリングの目的で事前学習された多言語ALBERTモデルで、50種以上の言語をサポートし、大文字小文字を区別します。

IndusはRoBERTaベースのエンコーダー専用Transformerモデルで、NASA科学ミッション理事会(SMD)のアプリケーション領域に最適化されており、科学情報検索やインテリジェント検索に適しています。

Albertina 1.5B PTBRは、ブラジルポルトガル語の変種を対象とした基礎的な大規模言語モデルで、BERTファミリーのエンコーダであり、Transformerニューラルネットワークアーキテクチャに基づき、DeBERTaモデルをベースに開発されています。

TahrirchiBERT-baseはウズベク語（ラテン文字）のエンコーダー専用Transformerテキストモデルで、1.1億のパラメータを持ち、マスク言語モデリング目標で事前学習されています。

現代ヘブライ語の最先端BERT言語モデルスイート

ドイツ語法律データで訓練されたBERTモデル、法律テキスト処理に特化

BEREL 3.0はBERTアーキテクチャに基づく埋め込みモデルで、ラビコード言語用に特別に設計され、関連する研究やアプリケーションにサポートを提供します。

BERTikalはブラジルの法律言語に特化した大文字小文字を区別するBERTベースモデルで、BERTimbauのチェックポイントを基に、ブラジルの法律テキストでトレーニングされています。

Albertina 100M PTBRはブラジルポルトガル語向けの基礎大規模言語モデルで、BERTファミリーのエンコーダに属し、Transformerニューラルネットワークアーキテクチャに基づき、DeBERTaモデルをベースに開発されました。

Albertina 100M PTPTは、ヨーロッパポルトガル語（ポルトガル）向けの基礎大規模言語モデルで、BERTファミリーのエンコーダーであり、Transformerニューラルネットワークアーキテクチャに基づき、DeBERTaモデルをベースに開発されています。

RoBERTaアーキテクチャに基づくニュース分野向けマスク言語モデルで、ニューステキストに特化して事前学習されています

ARBERTv2は、現代標準アラビア語(MSA)をベースに訓練されたアップグレード版のBERTモデルで、訓練コーパスは243GBのテキストで、278億のトークンを含んでいます。

NorBERT 3は、BERTアーキテクチャに基づく次世代のノルウェー語言語モデルで、書面ノルウェー語（Bokmål）と新ノルウェー語（Nynorsk）をサポートしています。

マスク言語モデリング(MLM)事前学習目標を採用した中規模BERT言語モデル。

マスク言語モデリングタスクでトレーニングされた混合エキスパート(MoE)モデルで、パラメータ規模は1.6兆に達し、T5に似たアーキテクチャを採用しているが、フィードフォワード層はスパースMLP層に置き換えられている

ESM-2はマスク言語モデリング目標で訓練された次世代タンパク質モデルで、タンパク質配列を入力とする様々な下流タスクのファインチューニングに適しています。

distilroberta-baseを微調整したモデル、具体的な用途は明記されていません

ESM-2はマスク言語モデリング目標で訓練された最先端のタンパク質モデルで、様々なタンパク質配列分析タスクに適用可能

ESM-2はマスク言語モデリング目標でトレーニングされた次世代タンパク質モデルで、タンパク質配列の様々なタスクのファインチューニングに適しています。

ESM-2はマスク言語モデリング目標で訓練された最先端のタンパク質モデルで、タンパク質配列に対する様々なタスクのファインチューニングに適しています。

ESM-2はマスク言語モデリング目標で訓練された最先端のタンパク質モデルで、タンパク質配列を入力とする様々なタスクの微調整に適しています。

これはコプト語向けのMicroBERTモデルで、マスク言語モデリングとXPOSタグ付けの監視による事前学習が行われています。