# 無監督預訓練

基於HieraDet圖像編碼器的SAM2模型，專注於圖像特徵提取任務。

基於DINOv2訓練的視覺Transformer模型，通過添加寄存器標記優化注意力機制，提升特徵提取能力

Depth Anything V2 是目前性能最強的單目深度估計模型，基於大規模合成與真實圖像訓練，相比V1版本能捕捉更精細的細節且更魯棒。

NVIDIA開發的視覺特徵提取模型，用於生成圖像嵌入，支持下游任務如圖像分類。

由NVIDIA研發的視覺特徵提取模型，可將圖像轉換為嵌入向量供下游任務使用

ESM-1b是基於Transformer的蛋白質語言模型，通過無監督學習蛋白質序列數據，可用於蛋白質結構和功能預測。

基於wav2vec2架構的語音處理模型，訓練細節未完全公開

Wav2Vec2是一個基於自監督學習的語音識別模型，在LibriSpeech 960小時語音數據上預訓練和微調，支持英語語音轉錄。

該模型用於評估對話中最後一條消息的相關性和具體性，基於sberbank-ai/ruRoberta-large架構。

該模型通過1.5千小時越南語語音數據預訓練得到，適用於越南語語音識別任務，需微調後使用。

T5版本1.1是谷歌改進的文本到文本轉換模型，採用GEGLU激活函數，僅在C4數據集上進行無監督預訓練，需微調後使用。

mT5是谷歌推出的多語言文本到文本轉換模型，支持101種語言，基於mC4數據集預訓練。

基於VoxPopuli語料庫10萬條無標註數據預訓練的語音識別模型，支持多語言語音表徵學習

基於VoxPopuli語料庫西班牙語子集訓練的大型語音預訓練模型，適用於西班牙語語音識別任務

基於VoxPopuli意大利語無標註數據預訓練的語音識別模型，採用Facebook的Wav2Vec2架構

基於Facebook Wav2Vec2架構的語音模型，專門針對保加利亞語進行預訓練，適用於語音識別任務。

這是一個基於Facebook Wav2Vec2架構的語音模型，專門針對立陶宛語進行了預訓練，使用了VoxPopuli語料庫中的14.4k未標記數據。

基於VoxPopuli語料庫荷蘭語子集預訓練的自動語音識別模型

T5版本1.1的LM適配版是基於T5架構改進的文本生成模型，通過語言建模目標額外訓練，提升了提示調優能力。

mT5是谷歌推出的多語言文本到文本轉換模型，支持101種語言，基於mC4數據集預訓練，適用於多種NLP任務。

基於Facebook Wav2Vec2框架的語音模型，專門針對愛沙尼亞語進行預訓練

基於VoxPopuli語料庫瑞典語子集預訓練的Wav2Vec2基礎模型，適用於瑞典語語音識別任務。

基於葡萄牙語VoxPopuli語料庫預訓練的Wav2Vec2基礎模型，適用於語音識別任務

基於VoxPopuli法語語料庫預訓練的大型語音識別模型，支持法語語音轉文本任務

Facebook的Wav2Vec2大型模型，僅在馬耳他語（mt）上使用VoxPopuli語料庫的未標記數據進行預訓練，適用於語音識別任務。

基於Facebook Wav2Vec2架構的語音識別基礎模型，專門針對拉脫維亞語（lv）進行預訓練，使用VoxPopuli語料庫的13.1k未標註數據。

T5 1.1是谷歌改進的文本到文本轉換Transformer模型，採用GEGLU激活函數和優化架構，僅使用C4數據集進行無監督預訓練

Wav2Vec2基礎模型，僅在西班牙語的21.4k無標註數據上預訓練，適用於語音識別任務。

Facebook的Wav2Vec2大型模型，僅在羅曼語族的VoxPopuli語料庫101.5小時未標註數據上進行預訓練，適用於語音識別任務。

基於VoxPopuli語料庫預訓練的希臘語語音識別模型，使用17.7小時未標註數據

基於Facebook Wav2Vec2架構的語音模型，專門針對芬蘭語進行預訓練，適用於語音識別任務。

這是一個基於Facebook Wav2Vec2架構的語音模型，專門針對斯洛文尼亞語(sl)進行預訓練，使用了VoxPopuli語料庫中的11.3k未標註數據。

基於VoxPopuli語料庫1萬條未標註數據預訓練的語音識別基礎模型，支持多語言語音處理

T5 1.1是谷歌改進的文本到文本轉換模型，採用GEGLU激活函數和優化架構，專注於無監督預訓練

基於VoxPopuli意大利語無標註數據預訓練的Wav2Vec2基礎模型，適用於語音識別任務。

基於VoxPopuli語料庫荷蘭語子集預訓練的Wav2Vec2基礎模型，適用於荷蘭語語音識別任務。

基於VoxPopuli法語無標註數據預訓練的Wav2Vec2基礎模型，適用於法語語音識別任務

Facebook的Wav2Vec2大型模型，僅在西日耳曼語系的VoxPopuli語料庫66.3無標註數據上進行預訓練。

基於VoxPopuli西班牙語無標註數據預訓練的Wav2Vec2語音識別基礎模型

基於Facebook Wav2Vec2架構的德語語音預訓練模型，使用VoxPopuli語料庫中的23.2k未標註德語數據進行預訓練。