AIbase
JA
モデル選定
タグ
自己注意蒸留

# 自己注意蒸留

Nasa Smd Ibm Distil V0.1
Apache-2.0
INDUS-SmallはRoBERTaベースの純粋エンコーダーTransformerモデルINDUSの蒸留バージョンで、NASA科学ミッション理事会(SMD)のアプリケーションドメインに特化しており、NASA SMD関連の科学ジャーナルや記事に対して微調整されています。
大規模言語モデル Transformers 英語
N
nasa-impact
13
8
Xlm Roberta Comet Small
mMiniLM-L12xH384 XLM-R は軽量化された多言語事前学習モデルで、MiniLMv2アーキテクチャに基づき、関係蒸留技術によって従来のXLM-RoBERTaモデルを圧縮したものです。
大規模言語モデル Transformers
X
Unbabel
45
2
Minilm L12 H384 Uncased
MIT
MiniLMは、深層自己注意蒸留技術によって圧縮された小型で効率的な事前訓練言語モデルで、言語理解と生成タスクに適しています。
大規模言語モデル
M
microsoft
10.19k
89
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase