# 大規模預訓練

Qwen3-8B-Base 是通義大模型系列的最新一代產品，具有82億參數，支持119種語言，適用於多種自然語言處理任務。

基於BART架構的大型德語文本處理模型，適用於多種自然語言處理任務

基於BART架構的大規模英德轉述生成模型

Gemma-2-Llama-Swallow系列是通過對gemma-2模型進行持續預訓練構建的，顯著增強了日文語言處理能力，同時保留原有英文能力。

LHM是一個前饋式模型，可在數秒內從單張圖像重建可動畫的3D人體。

LHM是一個前饋式模型，可在數秒內從單張圖像重建可動畫的3D人體。

基於未知數據集微調的語言模型，訓練過程中使用了Transformers庫

LHM是一個前饋模型，可在數秒內從單張圖像重建可動畫的3D人體。通過在大規模視頻數據集上使用圖像重建損失進行訓練，我們的模型對多樣化的現實場景展現出強大的泛化能力。

基於大規模日本電視廣播音頻數據預訓練的日語wav2vec2.0 Large模型

基於62,215小時日本電視廣播音頻數據預訓練的日語HuBERT Large模型，用於語音特徵提取

基於62,215小時日本電視廣播音頻數據預訓練的日語語音特徵提取模型

AMD基於Instinct MI300X GPU訓練的30億參數全開放語言模型家族，性能超越同規模開放模型

基於SigLIP 2的視覺Transformer模型，專為圖像特徵提取設計，適用於多語言視覺-語言任務。

SigLIP 2 是基於 SigLIP 預訓練目標的改進模型，整合了多項技術以提升語義理解、定位和密集特徵提取能力。

SigLIP 2 是基於 SigLIP 的改進模型，整合了多項技術以提升語義理解、定位和密集特徵提取能力。

OWLS是一套Whisper風格的模型，旨在幫助研究人員理解語音模型的擴展特性，支持多語言語音識別和翻譯。

LLaVE-7B是基於LLaVA-OneVision-7B模型的70億參數多模態嵌入模型，具備文本、圖像、多圖像和視頻的嵌入表示能力。

該模型是基於facebook/wav2vec2-xls-r-300m在common_voice_17_0數據集上微調的俄語自動語音識別(ASR)模型，詞錯誤率(WER)為0.195。

該模型是從bigscience/mt0-xxl-mt通過llama.cpp轉換為GGUF格式的多語言文本生成模型，支持多種語言任務。

C-RADIOv2是NVIDIA開發的視覺特徵提取模型，提供多種規格版本，適用於圖像理解和密集處理任務。

這是一個基於OpenCLIP框架、在LAION-2B英語子集上訓練的視覺語言模型，擅長零樣本圖像分類和跨模態檢索任務。

VideoMAEv2-giant是一個基於自監督學習的超大規模視頻分類模型，採用雙掩碼策略進行預訓練。

VideoMAEv2-Huge是一個基於自監督學習的視頻特徵提取模型，在UnlabeldHybrid-1M數據集上進行了1200輪預訓練。

VideoMAEv2-Base是基於自監督學習的視頻特徵提取模型，採用雙重掩碼機制在UnlabeldHybrid-1M數據集上預訓練。

LongVA-7B-TPO是基於LongVA-7B通過時序偏好優化而來的視頻-文本模型，在長視頻理解任務中表現優異。

基於OpenCLIP框架在LAION-2B英語數據集上訓練的視覺-語言模型，支持零樣本圖像分類和跨模態檢索

Reloc3r是一個簡潔高效的相機姿態估計框架，結合了預訓練的雙視角相對相機姿態迴歸網絡與多視角運動平均模塊。

AIM-v2是一個基於timm庫的圖像編碼器模型，具有10億參數規模，適用於圖像特徵提取任務。

基於HieraDet圖像編碼器的SAM2模型，專注於高效圖像特徵提取

EVA CLIP模型是基於OpenCLIP和timm框架的視覺語言模型，支持零樣本圖像分類任務。

EVA02 CLIP 是一個基於 CLIP 架構的大規模視覺-語言模型，支持零樣本圖像分類等任務。

EVA CLIP模型是基於OpenCLIP和timm模型權重的視覺語言模型，支持零樣本圖像分類等任務。

EVA-CLIP是基於CLIP架構的大規模視覺-語言模型，支持零樣本圖像分類等任務。

EVA-CLIP是一個基於CLIP架構的視覺-語言模型，支持零樣本圖像分類任務。

基於CLIP架構的視覺變換器模型，專注於圖像特徵提取，由蘋果公司發佈。

基於CLIP架構的ViT-Huge圖像編碼器，由蘋果公司發佈的DFN5B-CLIP模型，適用於視覺特徵提取任務。

基於SigLIP的視覺Transformer模型，採用全局平均池化處理圖像特徵

基於SigLIP的視覺Transformer模型，僅包含圖像編碼器部分，採用原始注意力池化機制

基於CLIP架構的視覺Transformer模型，專為圖像特徵提取設計，使用laion2B數據集訓練

基於CLIP架構的視覺Transformer模型，僅包含圖像編碼器部分，適用於圖像特徵提取任務