# 自監督學習

V-JEPA 2是Meta旗下FAIR團隊開發的前沿視頻理解模型，擴展了VJEPA的預訓練目標，具備業界領先的視頻理解能力。

首個針對3D醫學影像數據的自監督學習全面基準研究模型，提供多種預訓練檢查點

20億參數的自監督視覺Transformer模型，基於嚴格篩選的網絡圖像數據訓練，特別優化圖表和文本理解能力

這是facebook/dinov2-base模型的ONNX格式版本，適用於計算機視覺任務。

Midnight-12k是一個病理學基礎模型，通過自監督學習在少量數據上訓練，性能媲美領先模型

基於大規模日本電視廣播音頻數據預訓練的日語wav2vec2.0 Large模型

基於62,215小時日本電視廣播音頻數據預訓練的日語語音特徵提取模型

AV-HuBERT是一種視聽語音識別模型，基於MuAViC多語言視聽語料庫訓練，結合音頻和視覺模態實現魯棒性能。

基於非編碼RNA數據、採用掩碼語言建模（MLM）目標預訓練的RNA基礎模型

基於Transformer架構的DNA序列嵌入模型，支持序列比對和基因組學應用

voc2vec是一個專門為非語言人類數據設計的基礎模型，基於wav2vec 2.0框架構建。

VideoMAEv2-Base是基於自監督學習的視頻特徵提取模型，採用雙重掩碼機制在UnlabeldHybrid-1M數據集上預訓練。

面向心電圖分析的自監督預訓練基礎模型，支持164種心血管病症檢測

TITAN是一個多模態全切片基礎模型，通過視覺自監督學習和視覺-語言對齊進行預訓練，用於病理學圖像分析。

Path Foundation是一個用於組織病理學應用的機器學習模型，通過自監督學習訓練，能夠從H&E染色切片中生成384維嵌入向量，用於高效訓練分類器模型。

面向遙感領域的多語言視覺-語言預訓練模型，支持10種語言的圖像-文本跨模態任務

RNABERT是基於非編碼RNA（ncRNA）的預訓練模型，採用掩碼語言建模（MLM）和結構對齊學習（SAL）目標。

基於MuAViC數據集的多語言視聽語音識別模型，結合音頻和視覺模態實現魯棒性能

I-JEPA是一種自監督學習方法，通過圖像部分表徵預測同一圖像其他部分的表徵，無需依賴手工數據變換或填充像素級細節。

I-JEPA是一種自監督學習方法，通過圖像部分表徵預測同一圖像其他部分的表徵，無需依賴預設的手工數據變換或像素級細節填充。

I-JEPA是一種自監督學習方法，通過圖像部分表徵預測同一圖像其他部分的表徵，無需依賴預設的手工數據變換或像素級細節填充。

I-JEPA是一種自監督學習方法，通過圖像部分表徵預測同一圖像其他部分的表徵，無需依賴手工數據變換或填充像素級細節。

DINOv2是一個基於視覺變換器的圖像特徵提取模型，通過引入寄存器機制提升了特徵提取能力。

DINOv2是一個基於視覺變換器(ViT)的圖像特徵提取模型，通過引入寄存器機制提升了特徵提取能力。

DINOv2 large是基於自監督學習的大規模視覺特徵提取模型，能夠生成魯棒的圖像特徵表示。

RAD-DINO-MAIRA-2 是一種基於DINOv2自監督學習訓練的視覺變換器模型，專門用於編碼胸部X光片圖像。

大聲是一個基於大規模自監督學習訓練的通用音頻編碼器，能夠捕捉跨語音、音樂和環境音等多領域的豐富音頻信息。

wav2vec 2.0 是一個自監督學習框架，用於語音表示學習，能夠從未標記的音頻數據中學習語音特徵。

基於自監督學習DINOv2訓練的視覺Transformer模型，專門用於編碼胸部X光影像

Phikon-v2是基於Vision Transformer Large架構的模型，採用Dinov2自監督方法在PANCAN-XL數據集上進行預訓練，專門用於組織學圖像分析。

VQVAE是基於VQ-VAE架構的視頻生成模型，克隆自VideoGPT項目，旨在將模型轉換為Hugging Face格式以便更便捷地加載。

Ahma-7B是基於Meta Llama(v1)架構的70億參數僅解碼器Transformer模型，完全使用芬蘭語從頭預訓練。

DINOv2是Facebook Research發佈的視覺模型，通過自監督學習提取通用視覺特徵，適用於多種下游任務。

基於視覺變換器（ViT）的圖像分類模型，在3300萬個組織學切片上使用DINO自監督學習方法訓練，適用於病理圖像分類任務。

Phikon是基於iBOT訓練的組織病理學自監督學習模型，主要用於從組織學圖像塊中提取特徵。

基於HuBERT架構的音頻表徵學習模型，在完整AudioSet數據集上預訓練完成

基於HuBERT架構的音頻表徵模型，在完整AudioSet數據集上預訓練，適用於通用音頻任務

基於HuBERT架構的Transformer模型，在完整AudioSet數據集上進行預訓練，適用於通用音頻表徵學習任務。

基於HuBERT架構的音頻表徵模型，在完整AudioSet數據集上預訓練，適用於通用音頻任務

TwinBooster是一個基於PubChem生物測定語料庫微調的DeBERTa V3基礎模型，結合Barlow Twins自監督學習方法和梯度提升技術，用於增強分子屬性預測。