Llama 3.1 SauerkrautLM 70b Instruct

🚀 VAGO solutions Llama-3.1-SauerkrautLM-70b-Instruct

*基於**頻譜微調（Spectrum Fine-Tuning）*技術，高效微調大語言模型，充分挖掘其潛力。

我們很高興推出 Llama-3.1-SauerkrautLM-70b-Instruct，這是強大的 meta-llama/Meta-Llama-3.1-70B-Instruct 的改良版本！

• 運用 頻譜微調（Spectrum） 技術，針對德語 - 英語數據對模型的 15% 層 進行微調。
• 使用獨特的德語 - 英語 Sauerkraut Mix v2 數據集，實現高效的跨語言遷移學習。
• 採用定製化、精準設計的微調方法，增強多語言處理能力。
• 通過跨語言知識遷移，在多種語言（包括阿拉伯語、意大利語、法語、西班牙語、荷蘭語、葡萄牙語）中取得了更好的性能表現。

🚀 快速開始

模型列表

✨ 主要特性

• 多語言支持：支持德語、英語、阿拉伯語、意大利語、法語、西班牙語、荷蘭語、葡萄牙語等多種語言。
• 高效微調：使用頻譜微調技術，僅針對 15% 的模型層進行微調，大幅節省資源。
• 跨語言遷移學習：利用獨特的 Sauerkraut Mix v2 數據集，實現高效的跨語言知識遷移。

📚 詳細文檔

模型詳情

訓練過程

本模型展示了使用頻譜微調技術對大語言模型進行資源高效微調的潛力。以下是訓練過程的簡要介紹：

德語 - 英語數據微調

• 使用頻譜微調技術，針對模型的 15% 層 進行微調。
• 引入獨特的德語 - 英語 Sauerkraut Mix v2 數據集。
• 採用定製化、精準設計的微調方法。

使用 Sauerkraut Mix v2 進行跨語言遷移學習

• 以 Sauerkraut Mix v2 數據集為基礎進行跨語言遷移。
• 該獨特數據集主要聚焦於德語和英語，使模型能夠將知識遷移到其他語言。
• 在無需大量每種語言訓練數據的情況下，提升了模型在阿拉伯語、意大利語、法語、西班牙語、荷蘭語和葡萄牙語中的能力。
• 證明了使用雙語數據集進行多語言改進的有效性。

Sauerkraut Mix v2 數據集

• 專注於德語和英語的優質語言模型數據集。
• 精心挑選的高質量數據集組合。
• 使用專有、高精度生成技術創建的前沿合成數據集。
• 作為微調與跨語言遷移的核心資源。

訓練目標與結果

本次訓練的主要目標有兩個：

1. 證明僅針對 15% 的層進行頻譜微調，能夠顯著提升 700 億參數模型的能力，同時僅使用傳統微調方法所需資源的一小部分。
2. 展示使用 Sauerkraut Mix v2 數據集進行跨語言遷移學習的有效性，實現無需大量特定語言訓練數據的多語言改進。

結果令人矚目：

• 模型在多語言技能方面有了顯著提升，在 MMLU 多語言基準測試中表現出色。

關鍵發現：

• 頻譜微調可以在保留模型大部分先前習得知識的同時，有效增強其在多種語言中的能力。
• Sauerkraut Mix v2 數據集被證明是跨語言遷移的有效基礎，能夠從雙語基礎上實現多語言改進。
• 這種方法展示了一種資源高效的方法，無需為每種目標語言提供大量訓練數據即可創建強大的多語言模型。

評估

AGIEVAL

GPT4ALL

TRUTHFULQA

BBH - HF

MMLU - 多語言

📄 許可證

本模型使用 llama3.1 許可證。

⚠️ 免責聲明

儘管我們在數據清理方面已盡最大努力，但仍不能完全排除未審查內容的出現。我們無法保證模型始終表現恰當。如果您遇到任何問題或發現不適當的內容，請通過提供的聯繫方式告知我們。此外，這些模型的許可不構成法律建議，我們不對使用我們模型的第三方行為負責。

📞 聯繫我們

如果您對用於商業應用的定製大語言模型感興趣，請通過我們的網站與我們聯繫。我們也非常感謝您的反饋和建議。

🤝 合作機會

我們熱切尋求對我們的初創公司 VAGO solutions 的支持和投資，我們將持續推進強大語言模型的開發，以滿足各種目的和需求。如果您對共同應對未來挑戰感興趣，歡迎通過 VAGO solutions 與我們聯繫。

🙏 致謝

非常感謝 meta-llama 為開源社區提供如此有價值的模型。