Llama 3 Ko 8B Instruct

🚀 Llama-3-Ko-Instruct

Llama-3-Ko-Instruct 是一款專注於文本生成的模型，它在特定的基準測試中表現出色，為自然語言處理領域提供了新的解決方案。該模型基於多個優秀的基礎模型，具備廣闊的應用前景。

🚀 快速開始

文檔中未提供具體的快速開始步驟，你可以持續關注後續更新。

✨ 主要特性

• 多語言支持：支持英語和韓語，適用於不同語言環境的文本生成任務。
• 優秀的基準表現：在 Kobest 基準測試中展現出良好的性能。
• 基於強大基礎模型：使用瞭如 meta-llama/Meta-Llama-3-8B-Instruct 等多個優秀的基礎模型。

📚 詳細文檔

🔍 方法論

參考文檔：https://huggingface.co/blog/maywell/llm-feature-transfer

🤖 使用的模型

• meta-llama/Meta-Llama-3-8B-Instruct
• meta-llama/Meta-Llama-3-8B
• beomi/Llama-3-Open-Ko-8B

📊 基準測試

Kobest

🔰 原模型卡片（Beomi）

模型詳情

• Llama-3-Open-Ko-8B：基於 Llama-3-8B 繼續預訓練的語言模型，使用超過 60GB 的去重文本進行訓練。藉助新的 Llama-3 分詞器，預訓練使用了超過 177 億個標記，略多於韓語分詞器（Llama-2-Ko 分詞器）。該模型在 Google 的 TRC 計劃支持下，於 TPUv5e-256 上完成訓練。
• Llama-3-Open-Ko-8B-Instruct-preview 說明：應用了 Chat Vector paper 的思想，但未使用任何韓語指令集進行微調（實際上是“預覽版”），不過它是創建新的聊天/指令模型的良好起點。
• Meta Llama-3：Meta 開發併發布了 Meta Llama 3 系列大語言模型，包括 8B 和 70B 大小的預訓練和指令微調生成文本模型。Llama 3 指令微調模型針對對話用例進行了優化，在常見行業基準測試中表現優於許多可用的開源聊天模型。此外，在開發這些模型時，充分考慮了實用性和安全性。
• 模型開發者：Junbum Lee (Beomi)
• 模型變體：Llama-3-Open-Ko 只有 8B 一種規格。
• 輸入：模型僅接受文本輸入。
• 輸出：模型僅生成文本和代碼。
• 模型架構：Llama 3 是一種自迴歸語言模型，採用優化的 Transformer 架構。

*你可以在 這裡 找到數據集列表。

• 模型發佈日期：2024 年 4 月 24 日
• 狀態：這是一個基於離線數據集訓練的靜態模型。
• 許可證：Llama3 許可證：https://llama.meta.com/llama3/license

預期用途

• 預期用例：Llama 3 旨在用於英語的商業和研究用途。指令微調模型適用於類似助手的聊天場景，而預訓練模型可用於各種自然語言生成任務。
• 超出範圍：禁止以任何違反適用法律法規（包括貿易合規法律）的方式使用。禁止以違反可接受使用政策和 Llama 3 社區許可證的任何其他方式使用。禁止在英語以外的語言中使用。

⚠️ 重要提示

開發者可以根據 Llama 3 社區許可證和可接受使用政策，對 Llama 3 模型進行微調以支持英語以外的語言。

使用方法

文檔中使用方法部分待更新，請持續關注。

責任與安全

我們認為開放的人工智能方法能夠帶來更好、更安全的產品，加速創新，並拓展整體市場。我們致力於負責任的人工智能開發，並採取了一系列措施來限制濫用和危害，支持開源社區。

基礎模型是一種通用技術，旨在用於各種不同的應用場景。它們並非為滿足所有開發者在所有用例中的安全級別偏好而設計，因為這些偏好會因應用場景的不同而有所差異。

相反，負責任的大語言模型應用部署需要在應用開發的整個過程中實施一系列安全最佳實踐，從模型預訓練、微調，到部署包含安全保障措施的系統，以根據具體用例和受眾定製安全需求。

作為 Llama 3 發佈的一部分，我們更新了 負責任使用指南，以概述開發者為其應用實施模型和系統級安全的步驟和最佳實踐。我們還提供了一系列資源，包括 Meta Llama Guard 2 和 Code Shield 安全保障措施。這些工具已被證明能夠大幅降低大語言模型系統的殘餘風險，同時保持較高的實用性。我們鼓勵開發者根據自身需求調整和部署這些安全保障措施，並提供了 參考實現 供你參考。

負責任發佈

除了上述負責任使用的考慮因素外，我們在發佈決策之前遵循了嚴格的流程，採取了額外的措施來防範濫用和重大風險。

如果你訪問或使用 Llama 3，即表示你同意可接受使用政策。該政策的最新版本可在 https://llama.meta.com/llama3/use-policy/ 找到。

倫理考量與侷限性

Llama 3 的核心價值觀是開放性、包容性和實用性。它旨在為所有人服務，並適用於廣泛的用例。因此，它的設計旨在讓不同背景、經驗和觀點的人都能使用。Llama 3 以用戶的實際需求為出發點，不插入不必要的判斷或規範性內容，同時認識到即使在某些情況下可能存在問題的內容，在其他情況下也可能具有重要價值。它尊重所有用戶的尊嚴和自主權，特別是在推動創新和進步的自由思想和表達價值觀方面。

然而，Llama 3 是一項新技術，與任何新技術一樣，其使用存在一定風險。到目前為止的測試均以英語進行，無法涵蓋所有場景。因此，與所有大語言模型一樣，Llama 3 的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶提示產生不準確、有偏見或其他令人反感的響應。因此，在部署 Llama 3 模型的任何應用之前，開發者應針對其具體應用進行安全測試和調整。如《負責任使用指南》所述，我們建議將 Purple Llama 解決方案納入你的工作流程，特別是 Llama Guard，它提供了一個基礎模型，用於過濾輸入和輸出提示，在模型級安全的基礎上增加系統級安全。

請參閱 負責任使用指南。

📖 引用說明

Llama-3-Open-Ko

@article{llama3openko,
  title={Llama-3-Open-Ko},
  author={L, Junbum},
  year={2024},
  url={https://huggingface.co/beomi/Llama-3-Open-Ko-8B}
}

原始 Llama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 許可證

本項目採用 Llama3 許可證，詳情請見 https://llama.meta.com/llama3/license。