# 知識蒸餾

這是OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT的量化版本，藉助量化技術可以在不同硬件條件下更高效地運行模型。

輕量級語音壓力識別模型，通過知識蒸餾技術訓練，適用於邊緣設備即時壓力檢測

OpenR1-Distill-7B是基於Qwen2.5-Math-7B在Mixture-of-Thoughts數據集上後訓練的版本，旨在教會語言模型進行逐步推理。

UniME是一個基於多模態大模型的通用嵌入學習模型，採用336×336圖像分辨率訓練，在MMEB排行榜上位列第一。

UniME 是一個基於多模態大模型的通用嵌入學習模型，專注於打破模態壁壘，實現跨模態檢索和嵌入學習。

通過SLERP方法合併的8B參數語言模型，結合了DeepSeek-R1和Nemotron-8B模型的優勢

基於SPLADE++改進的對話式搜索模型，通過多教師蒸餾策略優化多輪對話查詢語義理解

基於SPLADE++模型適配的對話式搜索版本，通過QReCC數據集微調查詢編碼器，優化多輪對話式搜索性能。

MiniMaid-L2是基於MiniMaid-L1進一步優化的角色扮演專用模型，通過知識蒸餾和更大規模數據集訓練，在3B規模模型中表現優異。

Distill-Any-Depth是一種新的SOTA單目深度估計模型，採用知識蒸餾算法訓練而成。

Distill-Any-Depth是一種基於知識蒸餾算法訓練的SOTA單目深度估計模型，能夠高效準確地進行深度估計。

ARWKV-R1-1B5 是基於RNN的70億參數模型的早期預覽版，通過從DeepSeek-R1-Distill-Qwen-1.5B進行三階段知識蒸餾訓練而成，上下文長度為2k。

DeepSeer是基於DeepSeek-R1模型開發的視覺語言模型，支持思維鏈推理能力，通過對話模板訓練視覺模型。

這是一個基於Qwen2.5-14B-DeepSeek-R1-1M模型，通過TIES方法融合DeepSeek-R1-Distill-Qwen-14B-abliterated-v2的14B參數規模的大語言模型

由CyberAgent發佈的日語大語言模型，基於Qwen-32B蒸餾優化

專為極速重排序設計的模型，基於JinaBERT架構，支持長文本序列處理（最高8,192令牌）。

DeepSeek-R1是基於Llama架構的8B參數模型，由DeepSeek團隊開發，專注於高效推理和微調。

基於Llama架構的最先進雙語語言模型，特別優化了韓語理解和生成能力，同時保持強大的英語能力。

KOALA-Lightning-700M是基於SDXL-Lightning通過知識蒸餾訓練的高效文本生成圖像模型，在保持生成質量的同時顯著提升推理速度

KOALA-Lightning-1B是基於SDXL-Lightning的知識蒸餾模型，通過壓縮U-Net結構實現高效文本生成圖像，參數規模1.16B

ProtGPT2的蒸餾版本，通過知識蒸餾方法壓縮為更高效的小型模型，保持性能的同時提升推理速度

針對工業場景優化的SPLADE++模型實現，平衡檢索質量與效率，支持文檔擴展和稀疏表示學習

基於microsoft/phi-2在ultrachat_200k數據集上微調的大語言模型，適用於對話生成任務。

Distil-Whisper是Whisper模型的蒸餾版本，速度比原版快6倍，體積縮小49%，在英語語音識別任務上保持接近原版的性能。

Distil-Whisper是Whisper模型的蒸餾版本，速度提升6倍，體積縮小49%，在非分佈評估集上的表現僅相差1% WER。

MMLW（我必須得到更好的消息）是波蘭語的神經文本編碼器，針對信息檢索任務進行了優化。

MMLW（我必須得到更好的消息）是波蘭語的神經文本編碼器，針對信息檢索任務進行了優化，能夠將查詢和段落轉換為768維向量。

BK-SDM是通過架構壓縮的穩定擴散模型，用於高效通用文生圖合成，通過移除U-Net中的殘差和注意力塊實現輕量化。

LEALLA 是一組輕量級、語言無關的句子嵌入模型集合，支持 109 種語言，是從 LaBSE 蒸餾而來。適用於多語言句子嵌入及雙語文本檢索。

LEALLA-small 是一個輕量級、語言無關的句子嵌入模型，支持109種語言，適用於多語言句子嵌入和雙語文本檢索任務。

基於知識蒸餾技術構建的輕量級意大利法律領域BERT模型，僅含4層Transformer結構

MiniRBT是基於知識蒸餾技術開發的中文小型預訓練模型，採用全詞掩碼技術優化訓練效率。

MiniRBT是一個基於知識蒸餾技術的中文小型預訓練模型，結合了全詞掩碼技術，適用於多種中文自然語言處理任務。

MiniRBT是基於知識蒸餾技術開發的中文小型預訓練模型，採用全詞掩碼技術優化訓練效率。

基於知識蒸餾訓練的韓語CLIP模型，支持韓語和英語的多模態理解

Re2G是一個結合神經初始檢索和重排序的生成模型，用於知識密集型任務。該問題編碼器是Re2G系統的組成部分，用於將問題編碼為向量以進行檢索。

Re2G是一個結合神經檢索、重排序和生成的端到端系統，用於知識密集型任務。該模型是其NQ（Natural Questions）問題編碼器組件。

高效SPLADE模型用於段落檢索，採用雙模型架構分別處理查詢和文檔推理，在MS MARCO數據集上表現優異。

KoMiniLM是一個輕量級韓語語言模型，旨在解決大型語言模型在實際應用中的延遲和容量限制問題。

基於蒸餾BERT基礎版在問答數據集上微調的模型，適用於問答任務