# 旋轉位置嵌入

基於ModernBERT-base-nli微調的問答模型，支持長上下文處理

ModernBERT 是一種現代化的雙向僅編碼器 Transformer 模型（BERT 風格），在 2 萬億英語和代碼數據上進行了預訓練，原生上下文長度高達 8,192 個標記。

E5-RoPE-基礎版是基於旋轉位置嵌入（RoPE）的嵌入模型，旨在支持長上下文檢索任務。

EVA02是一個視覺Transformer模型，通過掩碼圖像建模在ImageNet-22k上預訓練，適用於圖像分類和特徵提取任務。

EVA02特徵/表示模型，通過掩碼圖像建模在ImageNet-22k上預訓練，適用於圖像分類和特徵提取任務。

基於Librispeech 100小時語音數據微調的Wav2Vec2 Conformer模型，採用旋轉位置嵌入技術

該模型整合了旋轉位置嵌入技術，基於16kHz採樣的語音音頻，在960小時的LibriSpeech數據上進行了預訓練和精細調優，適用於英語語音識別任務。

GPT-J 6B是基於Mesh Transformer JAX框架訓練的60億參數自迴歸語言模型，採用與GPT-2/3相同的分詞器。