# 知識蒸留最適化

FreepikとFalが共同開発した70億パラメータの拡散モデルで、知識蒸留により構築され、高速生成と効率的なメモリ使用が特徴

これはxlm-roberta-baseをファインチューニングした文変換モデルで、英語とウクライナ語をサポートし、意味的テキスト類似度や意味検索などのタスクに使用できます。

DeepSeek-R1から蒸留されたVerilog RTLコード生成モデルで、Verilogベンチマークで優れた性能を発揮

UltravoxはLlama3.1-8B-InstructとWhisper-smallをベースとしたマルチモーダル音声大規模言語モデルで、音声とテキスト入力を同時に処理できます。

UltravoxはLlama3.3-70BとWhisperを基に構築されたマルチモーダル音声大規模言語モデルで、音声とテキスト入力をサポートし、音声エージェントや翻訳などのシナリオに適しています。

BAAI/bge-m3から蒸留された8層埋め込みモデルで、検索性能を維持しながら2.5倍の速度向上を実現

AIM-v2は効率的な画像エンコーダーで、timmライブラリをベースに実装されており、様々なコンピュータビジョンタスクに適しています。

UltravoxはMistral-NemoとWhisperをベースにしたマルチモーダルモデルで、音声とテキスト入力を同時に処理でき、音声エージェントや音声翻訳などのタスクに適しています。

Ultravoxは、事前学習済みのLlama3.1-70B-Instructとwhisper-large-v3-turboバックボーンを基に構築されたマルチモーダル音声大規模言語モデルで、音声とテキストの両方を入力として受け取ることができます。

UltravoxはLlama3.1-8B-Instructとwhisper-large-v3-turboを基に構築されたマルチモーダル音声大規模言語モデルで、音声とテキスト入力を同時に処理できます。

sdadas/polish-roberta-large-v2を改良したポーランド語再ランキングモデル、RankNet損失関数で訓練、Flash Attention 2高速化対応

Llama3.1-Neo-1B-100wは、Meta-Llama-3.1-8B-Instructを1.4Bパラメータ規模にプルーニングし、LLM-Neoメソッド（LoRAと知識蒸留を組み合わせた）でファインチューニングした効率的な言語モデルです。トレーニングデータはBAAI/Infinity-Instructの100万行からサンプリングされています。

UltravoxはLlama3.1-8B-InstructとWhisper-mediumを基にしたマルチモーダル音声大規模言語モデルで、音声とテキスト入力を同時に処理できます。

stsb-xlm-r-multilingualをファインチューニングしたベンガル語文埋め込みモデルで、文の類似度計算と意味検索をサポート

LaMini-T5-738Mはt5-largeをLaMini-instructionデータセットで微調整した命令微調整モデルで、パラメータ数は738M、LaMini-LMシリーズモデルの1つです。

軽量なテキストから画像を生成するモデルで、オリジナルの安定拡散モデルと比べて体積が約半分でありながら、同様の生成品質を維持しています。

QuaLA-MiniLMはインテルが開発した小型言語モデルで、知識蒸留、長さ適応トランスフォーマー、8ビット量子化技術を統合し、SQuAD1.1データセットで最大8.8倍の高速化を実現しつつ精度損失は1%未満です。

MiniLMv2はマイクロソフトが開発した軽量言語表現モデルで、知識蒸留技術により効率的な推論を実現し、様々な自然言語処理タスクに適しています。

MiniLMv2は、マイクロソフトが開発した軽量級言語表現モデルで、知識蒸留技術を通じて高効率な性能を実現しています。

MiniLMv2はマイクロソフトが開発した軽量言語表現モデルで、知識蒸留技術により効率的な性能を実現しています。

知識蒸留で訓練されたDistilBERT密集検索モデルで、段落の再ランキングと直接検索タスクに適しています。

DistilBertベースのデュアルエンコーダードット積スコアリングアーキテクチャで、MSMARCO-Passageデータセット上でバランス型トピック認識サンプリングによりトレーニングされ、高密度検索と候補セットの再ランキングに適している