# モデル蒸留

DMMはスコア蒸留に基づくモデル融合パラダイムで、複数の異なるドメインの事前学習済みモデルを1つの多機能テキストから画像生成モデルに圧縮します。

これはDeepSeek-R1-蒸留-Qwen-32Bから抽出されたLoRAアダプターで、Qwen2.5-32Bベースモデルに基づいており、パラメータ効率的なファインチューニングに適しています。

DistilBart-MNLI は bart-large-mnli の蒸留バージョンで、教師なし蒸留技術を採用し、性能はオリジナルモデルに近いがより軽量です。

これはTiny BERTアーキテクチャに基づくテキスト分類モデルで、GLUEのSST - 2データセットで微調整され、感情分析タスクに使用されます。

DistilBart - MNLIは、教師なし蒸留技術を用いてbart - large - mnliから蒸留された軽量版で、高い精度を維持しながらモデルの複雑さを減らしています。

DistilBart-MNLI は BART-large-MNLI の蒸留バージョンで、教師なし蒸留技術を採用し、高性能を維持しながらモデルサイズを大幅に削減しています。