# 知識蒸留

これはOpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QATの量子化バージョンで、量子化技術を利用して、さまざまなハードウェア条件下でより効率的にモデルを実行できます。

軽量音声ストレス認識モデル。知識蒸留技術を用いて訓練され、エッジデバイスでのリアルタイムストレス検出に適しています。

OpenR1-Distill-7BはQwen2.5-Math-7BをMixture-of-Thoughtsデータセットでファインチューニングしたバージョンで、言語モデルに段階的な推論を教えることを目的としています。

UniMEはマルチモーダル大規模モデルに基づく汎用埋め込み学習モデルで、モーダルの壁を打破し、クロスモーダル検索と埋め込み学習を実現することに焦点を当てています。

UniMEはマルチモーダル大規模モデルに基づく汎用埋め込み学習モデルで、336×336の画像解像度でトレーニングされ、MMEBランキングで1位を獲得しています。

SLERP法でマージされた8Bパラメータ言語モデル、DeepSeek-R1とNemotron-8Bモデルの利点を統合

SPLADE++を改良した対話型検索モデルで、複数の教師モデルを用いた蒸留戦略によりマルチターン対話クエリの意味理解を最適化

SPLADE++モデルを基に対話型検索向けに適応させたバージョンで、QReCCデータセットを使用してクエリエンコーダを微調整し、マルチターン対話型検索の性能を最適化しました。

MiniMaid-L2はMiniMaid-L1をさらに最適化したロールプレイ専用モデルで、知識蒸留と大規模データセットによるトレーニングを通じて、3B規模のモデルの中で優れた性能を発揮します。

Distill-Any-Depthは新しいSOTA単眼深度推定モデルで、知識蒸留アルゴリズムを用いて訓練されています。

Distill-Any-Depthは知識蒸留アルゴリズムで訓練されたSOTA単眼深度推定モデルで、効率的かつ正確に深度推定が可能です。

ARWKV-R1-1B5 はRNNベースの70億パラメータモデルの初期プレビュー版で、DeepSeek-R1-Distill-Qwen-1.5Bからの3段階の知識蒸留トレーニングにより作成され、コンテキスト長は2kです。

DeepSeerはDeepSeek-R1モデルを基に開発された視覚言語モデルで、思考連鎖推論能力をサポートし、対話テンプレートを通じて視覚モデルを訓練します。

これはQwen2.5-14B-DeepSeek-R1-1Mモデルをベースに、TIESメソッドでDeepSeek-R1-Distill-Qwen-14B-abliterated-v2を融合した14Bパラメータ規模の大規模言語モデルです

CyberAgentがリリースした日本語大規模言語モデル、Qwen-32Bを蒸留して最適化

高速リランキング専用に設計されたモデルで、JinaBERTアーキテクチャに基づき、長文シーケンス処理（最大8,192トークン）をサポートします。

DeepSeek-R1はLlamaアーキテクチャに基づく8Bパラメータモデルで、DeepSeekチームによって開発され、効率的な推論とファインチューニングに焦点を当てています。

Llamaアーキテクチャに基づく最先端のバイリンガル言語モデルで、韓国語の理解と生成能力を特に最適化しつつ、強力な英語能力を保持しています。

KOALA-Lightning-700MはSDXL-Lightningを基に知識蒸留で訓練された効率的なテキスト生成画像モデルで、生成品質を維持しながら推論速度を大幅に向上

KOALA-Lightning-1BはSDXL-Lightningに基づく知識蒸留モデルで、U-Net構造を圧縮することで効率的なテキストから画像生成を実現、パラメータ規模1.16B

ProtGPT2の蒸留バージョン、知識蒸留手法によりより効率的な小型モデルに圧縮、性能を維持しながら推論速度を向上

工業シーンに最適化されたSPLADE++モデルの実装で、検索品質と効率をバランスさせ、文書拡張と疎な表現学習をサポートします。

microsoft/phi-2をultrachat_200kデータセットでファインチューニングした大規模言語モデルで、対話生成タスクに適しています。

Distil-WhisperはWhisperモデルの蒸留バージョンで、オリジナルより6倍速く、サイズが49%縮小され、英語音声認識タスクでオリジナルに近い性能を維持しています。

Distil-WhisperはWhisperモデルの蒸留版で、速度が6倍向上し、サイズが49%縮小され、非分布評価セットでの性能はWERでわずか1%の差しかありません。

MMLW（私はより良いニュースを得なければならない）はポーランド語のニューラルテキストエンコーダーで、情報検索タスク向けに最適化されています。

MMLW（私はより良いニュースを得なければならない）はポーランド語のニューラルテキストエンコーダーで、情報検索タスクに最適化されており、クエリと段落を768次元ベクトルに変換できます。

BK-SDMはアーキテクチャ圧縮を施した安定拡散モデルで、効率的な汎用テキスト画像合成を実現。U-Netの残差ブロックとアテンションブロックを除去することで軽量化を達成。

LEALLAは、109言語をサポートする軽量で言語非依存の文埋め込みモデルのセットで、LaBSEから蒸留されました。多言語文埋め込みおよび二言語テキスト検索に適しています。

LEALLA-small は軽量で言語に依存しない文埋め込みモデルで、109言語をサポートし、多言語文埋め込みやバイリンガルテキスト検索タスクに適しています。

知識蒸留技術に基づいて構築された軽量なイタリア法律分野向けBERTモデル、4層のTransformer構造のみを有する

MiniRBTは知識蒸留技術に基づいて開発された中国語小型事前学習モデルで、全単語マスキング技術を用いて学習効率を最適化しています。

MiniRBTは知識蒸留技術に基づいて開発された中国語小型事前学習モデルで、全単語マスキング技術を用いて学習効率を最適化しています。

MiniRBTは知識蒸留技術に基づく中国語小型事前学習モデルで、全単語マスキング技術を組み合わせ、様々な中国語自然言語処理タスクに適しています。

知識蒸留を用いて訓練された韓国語CLIPモデルで、韓国語と英語のマルチモーダル理解をサポート

Re2Gは、知識集約型タスクのためのニューラル初期検索と再ランキングを組み合わせた生成モデルです。この質問エンコーダーは、検索のために質問をベクトルにエンコードするRe2Gシステムの構成要素です。

Re2Gは知識集約型タスクのためのニューラル検索、再ランキング、生成を統合したエンドツーエンドシステムです。このモデルはそのNQ（Natural Questions）質問エンコーダーコンポーネントです。

高効率SPLADEモデルは段落検索に使用され、デュアルモデルアーキテクチャを採用してクエリとドキュメントの推論をそれぞれ処理し、MS MARCOデータセットで優れた性能を発揮します。

KoMiniLMは軽量な韓国語言語モデルで、大規模言語モデルの実際のアプリケーションにおける遅延と容量制限の問題を解決することを目的としています。

蒸留BERTベース版を質問応答データセットで微調整したモデルで、質問応答タスクに適しています