# 自監督預訓練

RNAErnie是一個基於非編碼RNA序列進行自監督預訓練的模型，採用多階段掩碼語言建模目標，為RNA研究提供強大的特徵表示能力。

首個針對3D醫學影像數據的自監督學習全面基準研究模型

首個針對3D醫學影像數據的自監督學習全面基準研究模型

ProphetNet是一種序列到序列學習預訓練語言模型，採用未來n元預測的自監督目標，能夠預測更多未來標記

voc2vec是專為非語言人類數據設計的基礎模型，基於wav2vec 2.0框架構建，預訓練數據集涵蓋約125小時非語言音頻。

基於自監督學習的預訓練Conformer編碼器模型，支持印度22種預定語言的自動語音識別任務。

面向廣泛可擴展心臟應用的自監督基礎模型，訓練數據包含910萬份12導聯心電圖，涵蓋164種心血管疾病

LWM是首個無線通信領域的基礎模型，作為通用特徵提取器開發，能夠從無線信道數據中提取精細表徵。

大規模通用音頻編碼器，通過自監督學習訓練，支持語音、音樂和環境音等多領域音頻信息處理

BERTurk-Legal是一個基於Transformer架構的語言模型，專門用於土耳其法律領域的先前案例檢索任務。

MoLFormer是基於ZINC和PubChem中11億分子SMILES字符串預訓練的化學語言模型，本版本使用兩個數據集各10%樣本訓練

GPT-2是一個基於Transformer架構的自監督預訓練語言模型，擅長文本生成任務。

MERT是一種基於自監督學習的聲學音樂理解模型，通過教師模型提供偽標籤進行預訓練。

VideoMAE是基於掩碼自編碼器(MAE)的視頻自監督預訓練模型，在Something-Something V2數據集上微調用於視頻分類任務。

RegNetY-128GF特徵提取模型，採用SEER方法在20億張隨機網絡圖片上進行自監督預訓練

RegNetY-64GF特徵/骨幹模型，採用SEER方法在20億張隨機互聯網圖像上自監督預訓練

RegNetY-32GF特徵提取模型，採用SEER方法在20億張隨機網絡圖片上預訓練，適用於圖像分類和特徵提取任務

ConvNeXt-V2自監督特徵表示模型，採用全卷積掩碼自編碼器框架(FCMAE)預訓練，適用於圖像分類和特徵提取任務。

基於ConvNeXt-V2的自監督特徵表示模型，採用全卷積掩碼自編碼器框架（FCMAE）進行預訓練，適用於圖像分類和特徵提取任務。

該視覺Transformer模型採用MSN方法預訓練，在少樣本場景下表現出色，適用於圖像分類等任務

該視覺Transformer模型採用MSN方法預訓練，在少樣本場景下表現優異，適用於圖像分類等任務

採用MSN方法預訓練的視覺Transformer模型，在少樣本場景下表現優異

該視覺Transformer模型採用MSN方法進行預訓練，適用於少樣本學習場景，特別適合圖像分類任務。

VideoMAE是基於掩碼自編碼器(MAE)的視頻自監督預訓練模型，在Something-Something-v2數據集上進行了800輪預訓練。

Swin Transformer v2是一種視覺Transformer模型，通過分層特徵圖和局部窗口自注意力機制實現高效的圖像分類和密集識別任務。

Swin Transformer v2是一種視覺Transformer模型，通過分層特徵圖和局部窗口自注意力機制實現高效的圖像分類和密集識別任務。

Swin Transformer v2是一種視覺Transformer模型，通過分層特徵圖和局部窗口自注意力機制實現高效的圖像分類和密集識別任務。

Swin Transformer v2 是一種視覺Transformer模型，通過分層特徵圖和局部窗口自注意力機制實現高效的圖像處理。

Swin Transformer v2是基於ImageNet-1k預訓練的視覺Transformer模型，採用分層特徵圖和局部窗口自注意力機制，具有線性計算複雜度。

該模型是基於3千小時越南語語音數據預訓練的Wav2Vec2基礎模型，適用於越南語語音識別任務，需在下游任務上微調後使用。

基於ImageNet-1k訓練的RegNet圖像分類模型，採用自監督預訓練和微調方法

基於imagenet-1k訓練的RegNet模型，採用自監督方式在數十億張隨機網絡圖像上預訓練後微調

基於IIT-CDIP預訓練並在RVL-CDIP上微調的文檔圖像分類模型，採用Transformer架構

DiT是一種基於Transformer的文檔圖像分類模型，在IIT-CDIP數據集上預訓練並在RVL-CDIP數據集上微調

BEiT是一種基於視覺Transformer架構的圖像分割模型，通過自監督預訓練和ADE20k數據集微調實現高效語義分割。

CORe模型基於BioBERT架構，專門針對臨床記錄、疾病描述和醫學文獻進行了預訓練，用於預測患者院內死亡風險。

BEiT是一種基於視覺Transformer的圖像分類模型，通過自監督方式在ImageNet-21k上預訓練，並在ImageNet-1k上微調。

TAPAS是一種基於Transformer的表格問答模型，通過自監督方式在維基百科英文表格數據上預訓練，支持表格問答和蘊含判斷任務。

Facebook開發的Wav2Vec2大模型，基於960小時Libri-Light和Librispeech語音數據預訓練和微調，採用自訓練目標，在LibriSpeech測試集上達到SOTA效果。

BEiT是一種基於視覺Transformer(ViT)架構的圖像分類模型，通過自監督學習在ImageNet-21k上預訓練，並在ImageNet-1k上微調。