Llama 4 Scout 17B 4E Instruct

🚀 Llama 4 Scout 4專家動態融合模型

這是一個基於Llama 4 Scout的模型，採用topk=4專家動態融合技術。需要通過SFT/RLHF修復以恢復性能，在MMLU測試中取得了64.28%的分數，量化到4bit時勉強能在RTX 4090上運行。

🚀 快速開始

本模型是基於Llama 4 Scout的改進版本，使用了topk=4專家動態融合技術。不過，它需要通過監督微調（SFT）或基於人類反饋的強化學習（RLHF）來恢復性能。在MMLU（大規模多任務語言理解）測試中，該模型取得了64.28%的分數。當量化到4bit時，它勉強能夠在RTX 4090顯卡上運行。

✨ 主要特性

• 多模態能力：Llama 4系列模型是原生多模態AI模型，支持文本和多模態體驗，能夠處理文本和圖像理解任務。
• 混合專家架構：採用混合專家（MoE）架構，結合早期融合技術實現原生多模態處理，提供行業領先的性能。
• 多語言支持：支持阿拉伯語、英語、法語、德語、印地語、印尼語、意大利語、葡萄牙語、西班牙語、他加祿語、泰語和越南語等多種語言。

📚 詳細文檔

模型信息

Llama 4系列模型是原生多模態AI模型，可實現文本和多模態體驗。這些模型利用混合專家架構，在文本和圖像理解方面提供了行業領先的性能。

Meta推出了Llama 4系列的兩個高效模型：

• Llama 4 Scout：一個170億參數、16個專家的模型。
• Llama 4 Maverick：一個170億參數、128個專家的模型。

模型開發者：Meta

模型架構：Llama 4模型是自迴歸語言模型，採用混合專家（MoE）架構，並結合早期融合技術實現原生多模態處理。

支持的語言：阿拉伯語、英語、法語、德語、印地語、印尼語、意大利語、葡萄牙語、西班牙語、他加祿語、泰語和越南語。

模型發佈日期：2025年4月5日

狀態：這是一個基於離線數據集訓練的靜態模型。隨著我們根據社區反饋改進模型行為，未來可能會發布調優後的版本。

許可證：自定義商業許可證，即Llama 4社區許可協議，可在此處獲取。

反饋渠道：關於模型的反饋或評論的說明可在Llama README中找到。有關生成參數和如何在應用程序中使用Llama 4的更多技術信息，請訪問這裡。

📄 許可證

本模型使用自定義商業許可證，即Llama 4社區許可協議，可在此處查看詳細內容。