# 上下文學習

TabPFNMix是基於純合成數據集預訓練的表格基礎模型，採用編碼器-解碼器Transformer結構，適用於表格數據迴歸任務。

基於表格數據的基礎模型，預訓練數據來自隨機分類器混合生成的合成數據集

CuBERT是一個針對Python源代碼的上下文嵌入模型，基於BERT架構預訓練，用於代碼理解和分析任務。

HyenaDNA是一個長距離基因組基礎模型，在單核苷酸分辨率下預訓練了長達100萬個標記的上下文長度。

MMICL是一個結合了blip2/instructblip的多模態視覺語言模型，能夠分析和理解多張圖像並遵循指令。

IDEFICS是Deepmind開發的閉源視覺語言模型Flamingo的開源復現版本，支持多模態輸入（圖像+文本）並生成文本輸出。