# 高效預訓練

Open-Qwen2VL是一個多模態模型，能夠接收圖像和文本作為輸入並生成文本輸出。

110億參數大語言模型，採用創新的SuperBPE分詞器訓練，支持超詞單元識別和子詞分詞能力。

GenMedClip 是一個基於 open_clip 庫的零樣本圖像分類模型，專注於醫學圖像分析。

mGTE系列多語言文本編碼器，支持75種語言，最大上下文長度8192，基於BERT+RoPE+GLU架構，在GLUE和XTREME-R基準上表現優異

基於Meta Llama3-8B優化的德語大語言模型，通過650億德語語料持續預訓練，專為德語優化並支持32k長上下文

Rho-1是一個專注於數學領域的語言模型，通過選擇性語言建模(SLM)方法進行預訓練，顯著提升了數學問題解決的準確率。

TinyLlama是一個11億參數的緊湊型語言模型，採用與Llama 2相同的架構和分詞器，適用於計算和內存資源有限的應用場景。

TinyLlama是一個11億參數的小型語言模型，採用與Llama 2相同的架構和分詞器，適用於資源受限的應用場景。

基於100MW BabyLM挑戰賽數據集訓練的BERT變體，優化了在中等規模語料庫上的表現

TinyLlama是一個1.1B參數的Llama模型，預訓練使用了3萬億標記，旨在提供緊湊高效的文本生成能力。

TinyLlama是一個1.1B參數的小型Llama模型，在3萬億token上預訓練，設計用於資源有限的環境。

這是一個80M參數的M2-BERT預訓練檢查點，序列長度為2048，並已針對長上下文檢索任務進行微調。

基於RetroMAE目標在捷克語網絡語料庫上預訓練的BERT-small模型，由Seznam.cz開發，適用於多種自然語言處理任務。

Sheared-LLaMA-2.7B是基於Llama-2-7b通過剪枝和繼續預訓練得到的輕量級語言模型，僅消耗50B tokens預算。

Sheared-LLaMA-1.3B是基於LLaMA-2-7B通過結構化剪枝和持續預訓練得到的高效語言模型

TinyLlama是一個1.1B參數的Llama模型，計劃在3萬億token上進行預訓練，優化後可在16塊A100-40G GPU上90天內完成訓練。

CodeT5+ 16B是一個開源的代碼大語言模型家族，採用編碼器-解碼器架構，支持多種模式，適用於廣泛的代碼理解與生成任務。

VideoMAE是視頻領域的掩碼自編碼器模型，通過自監督預訓練並在Kinetics-400數據集上進行監督微調，適用於視頻分類任務。

VideoMAE是基於掩碼自編碼器(MAE)的視頻預訓練模型，通過自監督學習在Kinetics-400數據集上微調，適用於視頻分類任務。

VideoMAE是基於掩碼自編碼器(MAE)的視頻自監督預訓練模型，通過預測被掩碼視頻塊的像素值學習視頻內部表示。

該模型研究了在掩碼語言建模中遮蔽15%內容的有效性，採用了前置層歸一化方法。

DistilBERT 是 BERT 的輕量級蒸餾版本，保留了大部分性能但參數更少。

DistilCamemBERT是法語CamemBERT模型的蒸餾版本，通過知識蒸餾技術顯著降低模型複雜度，同時保持性能。

基於漏斗Transformer和ELECTRA目標的高效阿拉伯語模型，計算成本低且性能優越

由SberDevices團隊開發的俄語預訓練Transformer語言模型，基於GPT2架構，支持1024序列長度，訓練數據達800億token。

BERTIN是一系列基於BERT的西班牙語模型，當前模型是在西班牙語mC4部分上使用Flax從頭訓練的RoBERTa-base模型。

中文ELECTRA是由哈工大-訊飛聯合實驗室基於谷歌ELECTRA模型開發的中文預訓練模型，具有參數量小但性能優越的特點。

使用WECHSEL方法訓練的RoBERTa基礎模型，專門針對斯瓦希里語進行優化，實現高效跨語言遷移。

這是一個稀疏預訓練的BERT-Base模型，通過一次性修剪方法實現90%權重稀疏化，適用於多種語言任務微調。

該模型基於2.5億中文語料庫，採用MobileBERT架構進行預訓練，訓練週期為15天，在單張A100顯卡上完成100萬步迭代。