# 多領域預訓練

GECKO是基於韓語、英語和代碼訓練的70億參數解碼器專用Transformer模型，採用Apache 2.0許可開源發佈。

Saltlux AI實驗室基於Meta Llama-3-8B優化的韓語大語言模型，擴展了韓語分詞器並精選100GB韓語數據預訓練

TinyLlama是一個11億參數的小型語言模型，採用與Llama 2相同的架構和分詞器，適用於資源有限的應用場景。

基於Llama-2-7B優化的越南語大語言模型，通過持續預訓練在124GB多領域越南語和英語數據上增強語言理解能力

這是一個針對越南語的預訓練 GPT2-Medium 模型，採用因果語言建模目標進行訓練，能有效處理越南語相關的文本生成任務。

MPT-7B是由MosaicML訓練的開源商用大語言模型，基於1萬億標記的英文文本和代碼預訓練，採用改進的Transformer架構優化訓練和推理效率。

面向俄語的130億參數語言模型，基於300GB多領域數據預訓練，俄語困惑度約8.8

Kaz-RoBERTa是一個基於大規模哈薩克語語料庫通過自監督方式預訓練的transformers模型，主要用於掩碼語言建模任務。

ElhBERTeu是為巴斯克語推出的BERT模型，基於多領域語料訓練，在BasqueGLUE基準測試中表現優異。

DistilBERT是BERT的輕量級蒸餾版本，保留了BERT 97%的性能，同時體積縮小40%，速度提升60%。

DistilBERT是BERT的輕量級蒸餾版本，保留了BERT 97%的性能，同時體積縮小40%，速度提升60%。

DistilBERT 是 BERT 的輕量級蒸餾版本，保留了 BERT 的大部分性能，但參數量更少，推理速度更快。

基於因果語言建模目標預訓練的印尼語生成模型，使用Flax框架訓練

ProcBERT是專為流程文本優化的預訓練語言模型，基於大規模流程文本語料庫（包含生物醫學文獻、化學專利和烹飪食譜）進行預訓練，在下游任務中展現出卓越性能。

該模型是Facebook Wav2Vec2-Large-Robust的微調版本，專門針對電話語音識別任務優化，使用300小時Switchboard電話語音語料庫進行微調。

CPM是基於Transformer的26億參數中文預訓練語言模型，使用100GB中文語料訓練，支持多種自然語言處理任務。