# 掩碼語言建模

基於modernBERT-base架構的日語大語言模型，支持最大8192的序列長度，使用3.4TB日語語料訓練

SyllaBERTa是一款實驗性基於Transformer的掩碼語言模型，專為處理古希臘語文本設計，採用音節級分詞。

DUO是一個用於文本生成的預訓練模型，可用於掩碼語言建模任務，在OpenWebText語料庫上進行訓練，具有良好的性能。

基於1萬億高質量法語文本預訓練的法語語言模型，是ModernBERT的法語版本

ModernCamemBERT是基於1T高質量法語文本語料庫預訓練的法語語言模型，是ModernBERT的法語版本，專注於長上下文和高效推理速度。

基於非編碼RNA數據、採用掩碼語言建模（MLM）目標預訓練的RNA基礎模型

DUO是一個基於Transformers庫的預訓練模型，專注於掩碼語言建模任務，適用於自然語言處理領域。

medBERT-base是基於BERT的模型，專注於醫學和胃腸病學文本的掩碼語言建模任務。

基於XLM-Roberta基礎模型微調的版本，採用RoPE（旋轉位置編碼）替換原始位置嵌入，支持2048序列長度

CamemBERTv2是基於2750億法語文本語料預訓練的法語語言模型，是CamemBERT的第二代版本，採用RoBERTa架構，優化了分詞器和訓練數據。

Ankh3是一個基於T5架構的蛋白質語言模型，通過聯合優化掩碼語言建模和序列補全任務進行預訓練，適用於蛋白質特徵提取和序列分析。

RiNALMo是基於掩碼語言建模（MLM）目標預訓練的非編碼RNA（ncRNA）模型，在大量非編碼RNA序列上通過自監督方式訓練。

基於RoBERTa架構的哈薩克語語言模型，採用RobertaForMaskedLM從頭訓練而成，適用於哈薩克語文本處理任務。

CodeBERTa是一個基於RoBERTa架構的代碼理解模型，專門針對多種編程語言訓練，能夠高效處理代碼相關任務。

SaudiBERT是首個專注於沙特方言文本的預訓練大語言模型，基於大規模沙特推特和論壇語料庫訓練。

Caduceus-PS是一個具有反向互補等變性的DNA序列建模模型，專為長序列處理設計。

基於掩碼語言建模(MLM)目標預訓練的多語言ALBERT模型，支持60+種語言，具有參數共享的輕量級架構

基於掩碼語言建模（MLM）目標預訓練的多語言ALBERT模型，支持64k詞表大小，區分大小寫

基於掩碼語言建模目標預訓練的多語言ALBERT模型，支持50+種語言，區分大小寫

Indus是基於RoBERTa的僅編碼器Transformer模型，專為NASA科學任務理事會(SMD)應用領域優化，適用於科學信息檢索和智能搜索。

Albertina 1.5B PTBR 是一個面向巴西葡萄牙語變體的基礎大型語言模型，屬於BERT家族的編碼器，基於Transformer神經網絡架構，並在DeBERTa模型基礎上開發。

TahrirchiBERT-base是一個烏茲別克語（拉丁字母）的僅編碼器Transformer文本模型，擁有1.1億參數，通過掩碼語言建模目標預訓練。

針對現代希伯來語的最先進BERT語言模型套件

基於德語法律數據訓練的BERT模型，專注於法律文本處理

BEREL 3.0是基於BERT架構的嵌入模型，專門為拉比編碼語言設計，為相關研究和應用提供支持。

BERTikal 是一個針對巴西法律語言的大寫敏感BERT基礎模型，基於BERTimbau的檢查點，使用巴西法律文本訓練而成。

Albertina 100M PTBR是一個面向巴西葡萄牙語的基礎大語言模型，屬於BERT家族的編碼器，基於Transformer神經網絡架構，並在DeBERTa模型基礎上開發。

Albertina 100M PTPT 是一個面向歐洲葡萄牙語（葡萄牙）的基礎大語言模型，屬於BERT家族的編碼器，基於Transformer神經網絡架構，並在DeBERTa模型基礎上開發。

基於RoBERTa架構的新聞領域掩碼語言模型，專門針對新聞文本進行預訓練

ARBERTv2是基於現代標準阿拉伯語(MSA)訓練的升級版BERT模型，訓練語料達243GB文本，包含278億詞元。

NorBERT 3 是新一代挪威語語言模型，基於BERT架構，支持書面挪威語（Bokmål）和新挪威語（Nynorsk）。

一箇中等規模的BERT語言模型，採用掩碼語言建模(MLM)預訓練目標。

基於掩碼語言建模任務訓練的混合專家(MoE)模型，參數規模達1.6萬億，採用類似T5的架構但前饋層替換為稀疏MLP層

ESM-2是基於掩碼語言建模目標訓練的新一代蛋白質模型，適用於各類以蛋白質序列為輸入的下游任務微調。

基於distilroberta-base微調的模型，具體用途未明確說明

ESM-2是基於掩碼語言建模目標訓練的前沿蛋白質模型，適用於各類蛋白質序列分析任務

ESM-2是基於掩碼語言建模目標訓練的新一代蛋白質模型，適用於對蛋白質序列進行各類任務的微調。

ESM-2是基於掩碼語言建模目標訓練的最先進蛋白質模型，適用於對蛋白質序列進行各種任務的微調。

這是一個針對科普特語的MicroBERT模型，通過掩碼語言建模和XPOS標註的監督進行預訓練。

FinBERT是基於金融通訊文本預訓練的BERT模型，專為金融自然語言處理任務設計。