# 知識蒸留最適化

F Lite 7B
Openrail
FreepikとFalが共同開発した70億パラメータの拡散モデルで、知識蒸留により構築され、高速生成と効率的なメモリ使用が特徴
画像生成 英語
F
Freepik
342
22
Xlm Roberta Ua Distilled
MIT
これはxlm-roberta-baseをファインチューニングした文変換モデルで、英語とウクライナ語をサポートし、意味的テキスト類似度や意味検索などのタスクに使用できます。
テキスト埋め込み 複数言語対応
X
panalexeu
121
1
Codev R1 Distill Qwen 7B
DeepSeek-R1から蒸留されたVerilog RTLコード生成モデルで、Verilogベンチマークで優れた性能を発揮
大規模言語モデル Transformers
C
zhuyaoyu
154
2
Ultravox V0 3
MIT
UltravoxはLlama3.1-8B-InstructとWhisper-smallをベースとしたマルチモーダル音声大規模言語モデルで、音声とテキスト入力を同時に処理できます。
音声生成テキスト Transformers 英語
U
FriendliAI
20
1
Ultravox V0 5 Llama 3 3 70b
MIT
UltravoxはLlama3.3-70BとWhisperを基に構築されたマルチモーダル音声大規模言語モデルで、音声とテキスト入力をサポートし、音声エージェントや翻訳などのシナリオに適しています。
音声生成テキスト Transformers 複数言語対応
U
fixie-ai
3,817
26
Bge M3 Distill 8l
BAAI/bge-m3から蒸留された8層埋め込みモデルで、検索性能を維持しながら2.5倍の速度向上を実現
テキスト埋め込み
B
altaidevorg
249
7
Aimv2 Large Patch14 336.apple Pt Dist
AIM-v2は効率的な画像エンコーダーで、timmライブラリをベースに実装されており、様々なコンピュータビジョンタスクに適しています。
画像分類 Transformers
A
timm
14
0
Ultravox V0 4 1 Mistral Nemo
MIT
UltravoxはMistral-NemoとWhisperをベースにしたマルチモーダルモデルで、音声とテキスト入力を同時に処理でき、音声エージェントや音声翻訳などのタスクに適しています。
音声生成テキスト Transformers 複数言語対応
U
fixie-ai
1,285
25
Ultravox V0 4 1 Llama 3 1 70b
MIT
Ultravoxは、事前学習済みのLlama3.1-70B-Instructとwhisper-large-v3-turboバックボーンを基に構築されたマルチモーダル音声大規模言語モデルで、音声とテキストの両方を入力として受け取ることができます。
テキスト生成オーディオ Transformers 複数言語対応
U
fixie-ai
204
24
Ultravox V0 4 1 Llama 3 1 8b
MIT
UltravoxはLlama3.1-8B-Instructとwhisper-large-v3-turboを基に構築されたマルチモーダル音声大規模言語モデルで、音声とテキスト入力を同時に処理できます。
音声生成テキスト Transformers 複数言語対応
U
fixie-ai
747
97
Polish Reranker Roberta V2
sdadas/polish-roberta-large-v2を改良したポーランド語再ランキングモデル、RankNet損失関数で訓練、Flash Attention 2高速化対応
テキスト埋め込み Transformers その他
P
sdadas
961
2
Llama3.1 1B Neo BAAI 1000k
Apache-2.0
Llama3.1-Neo-1B-100wは、Meta-Llama-3.1-8B-Instructを1.4Bパラメータ規模にプルーニングし、LLM-Neoメソッド(LoRAと知識蒸留を組み合わせた)でファインチューニングした効率的な言語モデルです。トレーニングデータはBAAI/Infinity-Instructの100万行からサンプリングされています。
大規模言語モデル Transformers
L
yang31210999
39
2
Ultravox V0 4
MIT
UltravoxはLlama3.1-8B-InstructとWhisper-mediumを基にしたマルチモーダル音声大規模言語モデルで、音声とテキスト入力を同時に処理できます。
音声生成テキスト Transformers 複数言語対応
U
fixie-ai
1,851
48
Bangla Sentence Transformer
stsb-xlm-r-multilingualをファインチューニングしたベンガル語文埋め込みモデルで、文の類似度計算と意味検索をサポート
テキスト埋め込み 複数言語対応
B
shihab17
1,257
4
Lamini T5 738M
LaMini-T5-738Mはt5-largeをLaMini-instructionデータセットで微調整した命令微調整モデルで、パラメータ数は738M、LaMini-LMシリーズモデルの1つです。
大規模言語モデル Transformers 英語
L
MBZUAI
2,966
49
Small Stable Diffusion V0
Openrail
軽量なテキストから画像を生成するモデルで、オリジナルの安定拡散モデルと比べて体積が約半分でありながら、同様の生成品質を維持しています。
画像生成 英語
S
OFA-Sys
2,743
92
Dynamic Minilmv2 L6 H384 Squad1.1 Int8 Static
MIT
QuaLA-MiniLMはインテルが開発した小型言語モデルで、知識蒸留、長さ適応トランスフォーマー、8ビット量子化技術を統合し、SQuAD1.1データセットで最大8.8倍の高速化を実現しつつ精度損失は1%未満です。
大規模言語モデル Transformers
D
Intel
172
0
Minilmv2 L6 H384 Distilled From BERT Large
MiniLMv2はマイクロソフトが開発した軽量言語表現モデルで、知識蒸留技術により効率的な推論を実現し、様々な自然言語処理タスクに適しています。
大規模言語モデル Transformers
M
nreimers
14.21k
1
Minilmv2 L6 H384 Distilled From RoBERTa Large
MiniLMv2は、マイクロソフトが開発した軽量級言語表現モデルで、知識蒸留技術を通じて高効率な性能を実現しています。
大規模言語モデル Transformers
M
nreimers
73
6
Mminilmv2 L6 H384 Distilled From XLMR Large
MiniLMv2はマイクロソフトが開発した軽量言語表現モデルで、知識蒸留技術により効率的な性能を実現しています。
大規模言語モデル Transformers
M
nreimers
197
17
Distilbert Dot Margin Mse T2 Msmarco
知識蒸留で訓練されたDistilBERT密集検索モデルで、段落の再ランキングと直接検索タスクに適しています。
テキスト埋め込み Transformers 英語
D
sebastian-hofstaetter
99
2
Distilbert Dot Tas B B256 Msmarco
DistilBertベースのデュアルエンコーダードット積スコアリングアーキテクチャで、MSMARCO-Passageデータセット上でバランス型トピック認識サンプリングによりトレーニングされ、高密度検索と候補セットの再ランキングに適している
テキスト埋め込み Transformers 英語
D
sebastian-hofstaetter
3,188
23
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase