# 大規模語料

專長於處理文本摘要任務的中文PEGASUS-large模型，基於多箇中文摘要數據集微調

ERNIE 3.0是一個面向中文語言理解與生成的大規模知識增強預訓練模型，mini版本是其輕量級實現。

XLMR-MaCoCu-tr 是基於土耳其語文本大規模預訓練的語言模型，是MaCoCu項目的一部分，使用35GB土耳其語文本訓練。

基於大規模科研論文集合預訓練的BERT-large變體，參數量3.4億，專注於科學文獻理解

該模型是基於3千小時越南語語音數據預訓練的Wav2Vec2基礎模型，適用於越南語語音識別任務，需在下游任務上微調後使用。

AraBERT是基於谷歌BERT架構的阿拉伯語預訓練語言模型，專為阿拉伯語自然語言理解任務設計。

XLM-RoBERTa是一種跨語言句子編碼器的擴展版本，基於100種語言的2.5T數據訓練，在多項跨語言基準測試中表現優異。

IndoBERT是基於BERT模型針對印尼語開發的尖端語言模型，採用掩碼語言建模（MLM）和下一句預測（NSP）目標進行訓練。

基於德語海量清潔版Common Crawl語料庫（GC4）訓練的超大規模德語語言模型，總規模約844GB，可能存在偏見。

mGPT是基於mC4數據集預訓練的多語言生成模型，支持101種語言，採用類似GPT-2的Transformer架構。

IndoBERT是基於BERT模型的印尼語最先進的語言模型，通過掩碼語言建模和下一句預測目標進行訓練。

該模型基於2.5億中文語料庫，採用MobileBERT架構進行預訓練，訓練週期為15天，在單張A100顯卡上完成100萬步迭代。

XLM-RoBERTa是基於100種語言的2.5TB過濾CommonCrawl數據預訓練的多語言模型，採用掩碼語言建模目標進行訓練。