# 預訓練語言模型

由Trendyol預訓練的土耳其語Bert模型，適用於多種自然語言理解任務。

Chronos是基於語言模型架構的預訓練時間序列預測模型家族，通過量化和縮放將時間序列轉換為token序列進行訓練。

Chronos是基於語言模型架構的預訓練時間序列預測模型家族，通過將時間序列轉化為token序列進行訓練，支持概率預測。

基於mergekit工具合併的預訓練語言模型，融合了多個Llama-3變體模型的特點

Chronos是基於語言模型架構的預訓練時間序列預測模型家族，通過量化和縮放將時間序列轉化為標記序列進行訓練。

Glot500是一個支持500多種語言的多語言預訓練模型，基於掩碼語言建模（MLM）目標訓練。

一個擁有36億參數的日語GPT-NeoX模型，基於Transformer架構，在3125億token的日語語料上訓練。

針對泰語命名實體識別任務微調的預訓練語言模型，基於LST20數據集

ClinicalT5是基於T5架構的生成式語言模型，專門針對臨床文本處理進行了預訓練，適用於醫療領域的自然語言處理任務。

基於意大利語XXL BERT模型，在國家司法檔案3.7GB預處理文本上進行額外預訓練的法律領域專用模型

哪吒(NEZHA)是一個面向中文理解的神經語境化表徵模型，基於Transformer架構，由華為諾亞方舟實驗室開發。

ViHealthBERT是面向越南語健康文本挖掘的預訓練語言模型，在醫療健康領域提供強基線性能

ERNIE-Gram是一個通過顯式N-Gram掩碼語言建模進行預訓練的自然語言理解模型

這是一個基於RoBERTa架構的斯洛伐克語填充掩碼模型，適用於處理斯洛伐克語文本任務。

該模型使用Longformer架構訓練，專門用於檢測機器改寫的抄襲文本，在學術誠信維護中具有重要應用價值。

KoBART是基於BART架構的韓語預訓練模型，適用於多種韓語自然語言處理任務。

FinancialBERT是基於海量金融文本預訓練的BERT模型，旨在推動金融領域自然語言處理的研究與實踐。

KoGPT2是基於Huggingface Transformers框架的韓語生成預訓練模型，由SKT-AI開發並開源。

CDLM是一個專注於跨文檔語言建模的預訓練模型，能夠處理多個文檔間的語義關係。

專用於生成文言文文本的GPT2模型，基於300萬條文言文數據預訓練

TCR-BERT 是一個基於 BERT 架構的預訓練模型，專門針對 T 細胞受體（TCR）序列進行優化，通過掩碼氨基酸建模任務進行訓練。

基於AraELECTRA的阿拉伯語維基百科問答系統，專為阿拉伯語閱讀理解任務設計

採用全詞掩碼策略的中文預訓練BERT模型，旨在加速中文自然語言處理研究。

針對巴西葡萄牙語的預訓練BERT模型，在多個NLP任務中達到最先進性能

HeBERT是基於希伯來語的預訓練語言模型，採用BERT架構，專注於極性分析與情感識別任務。

這是一個基於GPT-2架構的德語語言模型，專門針對德語文本生成任務進行了優化。

BROS是一個專注於文本與版面佈局的預訓練語言模型，旨在從文檔中高效提取關鍵信息。

由韓國大學Dmis-lab開發的基於BioBERT的生物醫學實體識別模型，專注於NCBI疾病數據集的特徵提取任務

基於Arabic-BERT初始化並在1000萬條阿拉伯語推文上訓練的多方言BERT模型，支持阿拉伯語多種方言識別

基於BigBird架構的中文預訓練模型，支持4096長度的上下文處理

NepaliBERT 是一個基於 BERT 架構的先進尼泊爾語語言模型，採用掩碼語言建模（MLM）方法進行訓練。

CAMeLBERT是針對阿拉伯語變體優化的BERT模型集合，CA版本專門針對古典阿拉伯語文本預訓練

ParsGPT2 是一個波斯語版本的 GPT-2 模型，由 Hooshvare 團隊開發，用於波斯語文本生成任務。