# 蒸留モデル

DeepSeek-R1-Distill-Qwen-7B は deepseek-ai によってリリースされた蒸留版大規模言語モデルで、Qwen-7B アーキテクチャに基づいており、テキスト生成タスクに適しています。

SigLIPアーキテクチャに基づく軽量な視覚言語モデルで、より大きなSigLIP-400mモデルから蒸留技術を用いて知識を抽出し、ゼロショット画像分類タスクに適しています。

Quasar-3.0-7Bは間もなくリリースされる400B Quasar 3.0モデルの蒸留バージョンで、Quasarアーキテクチャの初期の実力と可能性を示しています。

ELECTRAアーキテクチャに基づくテキストランキング用クロスエンコーダで、検索結果の再ランキングタスクに使用されます

BERTAはFRIDAモデルの埋め込みベクトルをLaBSE-ru-turboに蒸留して得られたもので、ロシア語と英語の文の埋め込みベクトルを計算するために使用され、複数のプレフィックスタスクをサポートします。

Distill-Any-Depth は、画像から深度情報を推定するための transformers アーキテクチャに基づくモデルです。

Flux.1 LiteはFLUX.1-devモデルから蒸留された80億パラメータのTransformerモデルで、テキストから画像生成タスクに最適化されており、精度を維持しながらメモリ使用量を削減し速度を向上させます。

Whisper-Large-V3のフランス語蒸留バージョン、デコーダ層数を減らすことで推論効率を最適化しつつ良好な性能を維持

distilvitはVIT画像エンコーダーと蒸留版GPT-2テキストデコーダーを基にした画像からテキストへのモデルで、画像のテキスト説明を生成できます。

DistilViTは、視覚Transformer(ViT)と蒸留版GPT-2に基づく画像キャプション生成モデルで、画像をテキスト記述に変換できます。

distil-whisper技術に基づくドイツ語音声認識モデルで、パラメータ数は7.56億、高品質を維持しながらより高速な推論を実現。

Kotoba-Whisperは、Asahi UshioとKotoba Technologiesが共同開発した日本語自動音声認識の蒸留版Whisperモデルセットで、オリジナルのlarge-v3に比べて6.3倍高速でありながら、同等の低エラー率を維持しています。

Distil-WhisperはWhisper large-v3の知識蒸留バージョンで、英語自動音声認識に特化し、より高速な推論速度を提供しながら、オリジナルモデルに近い精度を維持します。

Whisperアーキテクチャに基づく蒸留版自動音声認識モデルで、タイ語に最適化されており、性能と効率性を兼ね備えています

BERT-smallアーキテクチャに基づく蒸留モデルで、チェコ語-英語の意味埋め込みに特化

Stable-Diffusion v1-5のDreamshaper v7ファインチューン版から蒸留され、極めて短い推論時間で高品質な画像を生成可能

これは22種類のインド言語と英語の相互翻訳をサポートする機械翻訳モデルで、蒸留技術を用いて最適化され、パラメータ規模は200Mです。

IndicTrans2は22のインド言語と英語の相互翻訳をサポートする高品質な機械翻訳モデルで、このバージョンは200Mパラメータの蒸留版です

このモデルはNLLB-200蒸留版をファインチューニングしたアラビア語（Dz）から英語への翻訳モデルです

このモデルは、sshleifer/distilbart-cnn-12-6をBBCニュース要約データセットでファインチューニングしたテキスト要約モデルで、トリノ工科大学の深層自然言語処理コースの研究室で開発されました。

TinySapBERTは、SapBERTフレームワークに基づいて訓練されたマイクロ生物医学エンティティ表現モデルで、生物医学の命名エンティティ認識タスクに特化して設計されています。

SMaLL-100はコンパクトで高速な大規模多言語機械翻訳モデルで、10,000以上の言語ペアをカバーし、M2M-100と同等の性能を持ちながら、より小型で高速です。

これはsentence-transformersに基づく韓英バイリンガルの文埋め込みモデルで、文を768次元のベクトル空間にマッピングでき、意味検索やクラスタリングタスクに適しています。

このモデルは、multi_newsデータセットでdistilbart-cnn-12-6をファインチューニングしたテキスト要約モデルで、マルチドキュメント要約タスク専用です。

金融分野の問題マッチングに最適化された軽量化文類似度モデル。蒸留技術により12層BERTを4層に圧縮し、推論効率を大幅に向上

DistilCamemBERTはフランス語CamemBERTモデルの蒸留版で、知識蒸留技術によりモデルの複雑さを大幅に低減しながら性能を維持しています。

wav2vec 2.0アーキテクチャに基づく音声分類モデルで、成人と児童の音声を区別するために使用されます

これはdistilbert-base-multilingual-casedから抽出されたスペイン語サブセットモデルで、BERT基礎多言語モデルの蒸留バージョンです。パラメータ規模は小さいですが、主要な機能を保持しています。

DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。

これはdistilbert-base-multilingual-casedのカスタマイズされた軽量化バージョンで、ポーランド語に特化して最適化され、元のモデルの精度を維持しています。

これはdistilbert-base-multilingual-casedの軽量版で、英語、フランス語、スペイン語、ポルトガル語、イタリア語の処理をサポートします。

これはdistilbert-base-multilingual-casedの軽量版で、英語とイタリア語に特化して最適化され、元のモデルの精度を維持しています。

これはdistilbert-base-multilingual-casedの軽量版で、英語とドイツ語のバイリンガル処理に特化し、元のモデルの表現能力と精度を維持しています。

これはdistilbert-base-multilingual-casedの簡素化バージョンで、英語とアラビア語処理に特化しており、元のモデルの精度を維持しています。