# 知識蒸餾優化

由Freepik和Fal聯合開發的70億參數擴散模型，通過知識蒸餾構建，具有快速生成和高效內存使用的特點

這是一個基於xlm-roberta-base微調的句子轉換器模型，支持英語和烏克蘭語，可用於語義文本相似度、語義搜索等任務。

基於DeepSeek-R1蒸餾的Verilog RTL代碼生成模型，在Verilog基準測試中表現優異

Ultravox 是一個基於 Llama3.1-8B-Instruct 和 Whisper-small 的多模態語音大語言模型，能夠同時處理語音和文本輸入。

Ultravox是基於Llama3.3-70B和Whisper構建的多模態語音大語言模型，支持語音和文本輸入，適用於語音代理、翻譯等場景。

從BAAI/bge-m3蒸餾得到的8層嵌入模型，在保持檢索性能的同時實現2.5倍速度提升

AIM-v2是一個高效的圖像編碼器，基於timm庫實現，適用於多種計算機視覺任務。

Ultravox 是一個基於 Mistral-Nemo 和 Whisper 的多模態模型，可同時處理語音和文本輸入，適用於語音代理、語音翻譯等任務。

Ultravox 是一個多模態語音大語言模型，基於預訓練的 Llama3.1-70B-Instruct 和 whisper-large-v3-turbo 主幹構建，能夠同時接收語音和文本作為輸入。

Ultravox是基於Llama3.1-8B-Instruct和whisper-large-v3-turbo構建的多模態語音大語言模型，能夠同時處理語音和文本輸入。

基於sdadas/polish-roberta-large-v2改進的波蘭語重排序模型，採用RankNet損失函數訓練，支持Flash Attention 2加速

Llama3.1-Neo-1B-100w是基於Meta-Llama-3.1-8B-Instruct剪枝至1.4B參數規模，並採用LLM-Neo方法（結合LoRA與知識蒸餾）微調的高效語言模型。訓練數據採樣自BAAI/Infinity-Instruct的100萬行數據。

Ultravox 是一款基於 Llama3.1-8B-Instruct 和 Whisper-medium 的多模態語音大語言模型，能夠同時處理語音和文本輸入。

基於DistilBERT的微調模型，用於檢測和降低文本中的政治偏見，採用知識蒸餾和擴散技術實現無偏見文本表徵。

基於whisper-small模型改進的多語言自動語音識別模型，通過CLSR模塊和知識蒸餾提升目標語言性能

基於stsb-xlm-r-multilingual微調的孟加拉語句子嵌入模型，支持句子相似度計算和語義搜索

LaMini-T5-738M是基於t5-large在LaMini-instruction數據集上微調而成的指令微調模型，參數量為738M，屬於LaMini-LM系列模型之一。

針對孟加拉語優化的多語言句子嵌入模型，可將文本映射到768維向量空間

一個輕量級的文本到圖像生成模型，體積比原始穩定擴散模型小近一半，同時保持相似的生成質量。

QuaLA-MiniLM是英特爾開發的微型語言模型，融合知識蒸餾、長度自適應變換器和8位量化技術，在SQuAD1.1數據集上實現最高8.8倍加速且精度損失不足1%。

MiniLMv2 是微軟推出的輕量級語言表示模型，通過知識蒸餾技術實現高效推理，適用於多種自然語言處理任務。

使用知識蒸餾訓練的DistilBERT密集檢索模型，適用於段落重排序和直接檢索任務

MiniLMv2 是微軟推出的輕量級語言表示模型，通過知識蒸餾技術實現高效性能。

基於DistilBert的雙編碼器點積評分架構，通過平衡主題感知採樣在MSMARCO-Passage數據集上訓練，適用於密集檢索和候選集重排序

MiniLMv2 是微軟推出的輕量級語言表示模型，通過知識蒸餾技術實現高效性能。