# 掩碼語言模型

俄羅斯版現代化單向雙向編碼器Transformer模型，預訓練使用了約2萬億個俄語、英語和代碼數據的標記，上下文長度高達8,192個標記。

Italian ModernBERT是ModernBERT的意大利語特化版本，專門針對意大利語文本進行預訓練。

HPLT項目發佈的斯洛伐克語單語BERT模型，基於LTG-BERT架構訓練，適用於掩碼語言建模任務

MizBERT是基於米佐語文本語料庫預訓練的掩碼語言模型（MLM），採用BERT架構，能有效學習米佐語詞彙的上下文表徵。

BARTSmiles是一個基於BART架構的生成式掩碼語言模型，專門用於分子表徵和SMILES字符串處理。

PhayaThaiBERT是一個基於泰語的基礎BERT模型，適用於泰語文本處理任務。

GPN-MSA是一個基於人類及其他89種脊椎動物訓練的語言模型，專注於DNA序列分析和變異效應預測。

ESM-2是基於掩碼語言建模目標訓練的最先進蛋白質模型，適用於對蛋白質序列進行分析和預測任務

RuLeanALBERT 是一個針對俄語預訓練的掩碼語言模型，採用了內存高效的架構。

基於MacBERT微調的掩碼語言模型，用於中文錯別字修正

基於BERT架構的佛教梵語掩碼語言模型，專為處理佛教梵語文本設計

針對土耳其語的類BERT掩碼語言模型，基於字符級別運行，採用類似SpanBERT的字符跨度掩碼方法進行預訓練。

這是一個基於CC-100數據集預訓練的RoBERTa模型，適用於白俄羅斯語文本處理任務。

這是將東北大學的BERT large Japanese模型轉換為可在Rust中使用的格式的版本

Bangla BERT 基礎版是基於BERT架構預訓練的孟加拉語語言模型，支持多種下游NLP任務。

AlephBERT 是一個針對希伯來語的尖端語言模型，基於谷歌的BERT架構，專門為處理希伯來語文本設計。

tunbert_zied 是一個基於突尼斯方言的語言模型，架構類似RoBERTa，訓練了超過60萬條突尼斯方言短語。

這是一個專注於茨瓦納語的掩碼語言模型，旨在提升南非低資源語言在NLP領域的性能表現。

KoBERT-LM 是針對韓文優化的預訓練語言模型，基於BERT架構，專門針對韓語文本進行了進一步預訓練。

這是一個基於CodeSearchNet數據集預訓練的RoBERTa模型，專為Golang掩碼語言模型任務設計。

當前最先進的希伯來語語言模型，基於BERT架構

基於知識蒸餾技術預訓練的BERT變體模型，隱藏層維度為240，配備12個注意力頭，適用於掩碼語言建模任務。

TAPAS (Table Parser) 是谷歌研究開發的基於表格的預訓練語言模型，專門用於處理表格數據和自然語言查詢。

VetBERT是一個專為處理獸醫臨床筆記設計的預訓練語言模型，基於Bio_ClinicalBERT進一步在獸醫醫學領域數據上訓練。

基於RoBERTa架構的印尼語掩碼語言模型，在OSCAR語料庫上訓練，驗證準確率62.45%

TAPAS是一個基於表格的預訓練語言模型，專門用於處理表格數據和相關查詢。

TAPAS是一個基於表格數據的預訓練語言模型，專門用於處理表格相關的自然語言任務。

基於青空文庫文本、使用字符分詞器預訓練的RoBERTa模型，適用於日語文本處理任務。

這是一個基於泰語維基百科文本預訓練的RoBERTa模型，採用字符級嵌入以適配BertTokenizerFast。

這是一個基於日語維基百科文本預訓練的BERT模型，源自bert-large-japanese-char，通過增強字符嵌入功能支持更多漢字字符。

基於青空文庫文本預訓練的日語RoBERTa小型模型，適用於多種下游NLP任務