AIbase
TW
模型選型
標籤
滑動窗口注意力

# 滑動窗口注意力

Qwen1.5 Moe Tiny Random
這是一個基於Qwen1.5-MoE架構的隨機初始化小型模型，採用float16精度，適用於文本生成任務。
大型語言模型 Transformers
Q
yujiepan
30
1
H2o Danube 1.8b Base
Apache-2.0
H2O.ai訓練的18億參數基礎語言模型，基於改進的Llama 2架構，支持16K上下文長度
大型語言模型 Transformers 英語
H
h2oai
281
43
Mistral 7B Instruct V0.1
Apache-2.0
Mistral-7B-Instruct-v0.1是基於Mistral-7B-v0.1生成式文本模型，通過多種公開對話數據集進行指令微調的版本。
大型語言模型 Transformers
M
mistralai
468.63k
1,659
Nat Base In1k 224
MIT
NAT-Base是基於ImageNet-1K訓練的視覺Transformer模型，採用鄰域注意力機制進行圖像分類。
圖像分類 Transformers 其他
N
shi-labs
6
0
Nat Small In1k 224
MIT
NAT-Small是基於鄰域注意力的分層視覺變換器，專為圖像分類任務設計
圖像分類 Transformers 其他
N
shi-labs
6
0
Nat Mini In1k 224
MIT
NAT-Mini 是基於鄰域注意力機制的輕量級視覺Transformer模型，專為ImageNet圖像分類任務設計
圖像分類 Transformers 其他
N
shi-labs
109
0
Dinat Mini In1k 224
MIT
DiNAT-Mini是基於鄰域注意力機制的分層視覺Transformer模型，專為圖像分類任務設計。
圖像分類 Transformers
D
shi-labs
462
1
Longformer Base 4096 Spanish
MIT
基於RoBERTa檢查點開發的西班牙語長文檔處理模型，支持4096個token的序列長度
大型語言模型 Transformers 西班牙語
L
mrm8488
22
16
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase