Kosaul V0.2

🚀 KoSaul-8B 模型

KoSaul-8B 是一個基於語言模型的項目，它以 Open-ko-llama3-8B 模型為基礎，通過持續學習進一步優化。該模型在法律文本處理方面表現出色，具有較低的困惑度，在相關領域有很大的應用潛力。

📚 詳細文檔

模型詳情

模型名稱：KoSaul-8B

KoSaul-8B 模型是基於 Open-ko-llama3-8B 模型，通過持續學習訓練得到的。在訓練過程中，使用了 A6000 * 3 顯卡，並結合 Deepspeed off-load 技術，最大化了批量大小。

模型開發者：Ingeol Baek

數據集：

• 國家法令門戶網站 Open API 爬取數據
• AI-hub 法律知識庫
• AI-hub 醫療、法律專業書籍語料庫

超參數：

• 批量大小：96
• 上下文長度：1024
• 優化器：Adamw
• 學習率：5e-5
• 預熱最小學習率：1e-6
• Zero Stage3 off-load

困惑度：基於法令數據進行評估，結果如下：

• KoSaul-8B - 2.649
• Open-Llama3-8B (beomi/Llama-3-Open-Ko-8B) - 3.529
• Open-Llama2-7B (beomi/llama-2-ko-7b) - 3.393
• Solar-10.7B (chihoonlee10/T3Q-ko-solar-dpo-v1.0) - 3.161
• EEVE-10.8B (yanolja/EEVE-Korean-Instruct-10.8B-v1.0) - 3.505
• KULLM3 (nlpai-lab/KULLM3) - 2.903
• MLP-KTLim (MLP-KTLim/Bllossom) - 4.385

模型架構：Llama 3 是一個自迴歸語言模型

模型發佈日期：2024.05.08

許可證：Llama3 許可證：https://llama.meta.com/llama3/license

責任與安全

我們認為，開放的人工智能方法能夠帶來更好、更安全的產品，加速創新，並擴大整體市場。我們致力於負責任地開發人工智能，並採取了一系列措施來限制濫用和危害，同時支持開源社區。

基礎模型是一種通用技術，旨在用於各種不同的應用場景。它們並非為滿足所有開發者在所有用例中的安全級別偏好而設計，因為不同應用的安全需求本質上會有所不同。

相反，負責任的大語言模型應用部署是通過在應用開發的各個階段（從模型預訓練、微調，到部署包含安全保障措施的系統）實施一系列安全最佳實踐來實現的，以滿足特定用例和用戶群體的安全需求。

作為 Llama 3 發佈的一部分，我們更新了 負責任使用指南，概述了開發者在其應用中實施模型和系統級安全的步驟和最佳實踐。我們還提供了一系列資源，包括 Meta Llama Guard 2 和 Code Shield 安全保障措施。這些工具已被證明能夠在保持高實用性的同時，大幅降低大語言模型系統的潛在風險。我們鼓勵開發者根據自身需求調整和部署這些安全保障措施，並提供了 參考實現 供您參考。

負責任的發佈

除了上述負責任使用的考慮因素外，我們在發佈模型之前遵循了嚴格的流程，採取了額外的措施來防止濫用和應對關鍵風險。

濫用問題：如果您訪問或使用 Llama 3，您需要同意可接受使用政策。該政策的最新版本可在 https://llama.meta.com/llama3/use-policy/ 找到。

倫理考量與侷限性

Llama 3 的核心價值觀是開放性、包容性和實用性。它旨在服務於所有人，並適用於廣泛的用例。因此，它的設計旨在讓不同背景、經驗和觀點的人都能使用。Llama 3 以客觀的態度對待用戶及其需求，不插入不必要的判斷或規範性內容，同時認識到即使在某些情況下可能存在問題的內容，在其他情況下也可能有其價值。它尊重所有用戶的尊嚴和自主權，特別是在推動創新和進步的自由思想和表達價值觀方面。

然而，Llama 3 是一項新技術，與任何新技術一樣，其使用存在風險。到目前為止的測試主要使用英語進行，無法涵蓋所有場景。由於這些原因，與所有大語言模型一樣，Llama 3 的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶的提示產生不準確、有偏見或其他令人反感的響應。因此，在部署 Llama 3 模型的任何應用之前，開發者應該針對其特定應用進行安全測試和調整。正如《負責任使用指南》中所概述的，我們建議將 Purple Llama 解決方案納入您的工作流程，特別是 Llama Guard，它提供了一個基礎模型，用於過濾輸入和輸出提示，在模型級安全的基礎上增加系統級安全。

請參閱 負責任使用指南 以獲取更多信息。

📄 許可證

本項目採用 MIT 許可證。