AIbase
TW
模型選型
標籤
RoPE位置編碼

# RoPE位置編碼

Fastwebmiia 7B
其他
FastwebMIIA是由Fastweb開發的70億參數意大利人工智能模型，專為意大利語和英語設計，支持長文檔處理。
大型語言模型 Transformers
F
Fastweb
124
2
Modernbert Large Squad2 V0.1
Apache-2.0
基於ModernBERT-large在SQuAD 2.0數據集上微調的問答模型，支持長上下文處理
問答系統 Transformers
M
Praise2112
19
2
Nomic Xlm 2048
基於XLM-Roberta基礎模型微調的版本，採用RoPE（旋轉位置編碼）替換原始位置嵌入，支持2048序列長度
大型語言模型 Transformers
N
nomic-ai
440
6
Sarashina2 7b
MIT
由SB Intuitions訓練的大型日語/英語雙語語言模型，基於Llama2架構
大型語言模型 Transformers 支持多種語言
S
sbintuitions
1,561
27
Gpt Neox 20b
Apache-2.0
GPT-NeoX-20B是一個擁有200億參數的開源自迴歸語言模型，基於GPT-3架構設計，在the Pile數據集上訓練而成。
大型語言模型 Transformers 英語
G
EleutherAI
345.06k
559
Slovak Gpt J 162M
Gpl-3.0
首個基於斯洛伐克語語料庫訓練的公開Transformer模型，參數規模1.62億
大型語言模型 Transformers 其他
S
Milos
15
1
Slovak Gpt J 1.4B
Gpl-3.0
擁有14億參數的大型斯洛伐克語生成模型，基於GPT-J架構
大型語言模型 Transformers 其他
S
Milos
90
7
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase