Ko Llama3 Luxia 8B

🚀 Ko-Llama3-Luxia-8B 模型

Ko-Llama3-Luxia-8B 是由 Saltlux AI Labs 語言模型團隊訓練並公開的模型，它基於 Meta 發佈的 Llama-3-8B 模型，針對韓語進行了專門優化，能夠更好地處理韓語相關的自然語言生成任務。

🚀 快速開始

該模型卡提供了基於 transformers 庫的 Ko-Llama3-Luxia-8B 模型示例代碼。

import transformers
import torch

model_id = "saltlux/Ko-Llama3-Luxia-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("<|begin_of_text|>안녕하세요. 솔트룩스 AI Labs 입니다.")

✨ 主要特性

• 韓語特化：Ko-Llama3-Luxia-8B 模型是對 Meta 發佈的 Llama-3-8B 模型進行韓語特化處理的版本，使用了約 100GB 的韓語數據進行預訓練。
• Tokenizer 擴展：對公開的 Llama-3 Tokenizer 進行了韓語擴展，並應用於預訓練中。
• 研究用途：該模型專為研究目的而設計，可自由用於各種自然語言生成任務。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

📚 詳細文檔

模型詳情

Saltlux AI Labs 語言模型團隊訓練並公開的 Ko-Llama3-Luxia-8B 模型，是將 Meta 發佈的 Llama-3-8B 模型進行 韓語特化 的版本。團隊從自有超過 1TB 的韓語訓練數據中，挑選了約 100GB 的數據用於預訓練。同時，對公開的 Llama-3 Tokenizer 進行韓語擴展，並應用於預訓練。

• Meta Llama-3：Meta 開發併發布了 Meta Llama 3 系列大語言模型（LLMs），這是一組 80 億和 700 億參數的預訓練和指令調優生成文本模型。Llama 3 指令調優模型針對對話用例進行了優化，在常見行業基準測試中表現優於許多現有的開源聊天模型。此外，在開發這些模型時，Meta 非常注重優化模型的實用性和安全性。
• 許可證：Llama3 許可證 https://llama.meta.com/llama3/license

預期用途

Ko-Llama3-Luxia-8B 專為研究目的而開發，可自由用於各種自然語言生成任務。

訓練詳情

預訓練數據

用於韓語特化的預訓練數據來自 Saltlux 擁有的新聞、法律、專利、醫療、歷史、社會、文化、對話（書面/口語）等領域的約 100GB 語料庫（截至 2023 年）。

使用設備

預訓練使用了 8 張 NVIDIA H100 80GB 顯卡。

訓練超參數

Tokenizer

為了使 Llama-3-Tokenizer 更適合韓語，添加了 17,536 個韓語標記。

Tokenizer 結果

韓語輸入

英語輸入

推理結果

引用說明

Ko-Llama3-Luxia-8B

@article{kollama3luxiamodelcard,
  title={Ko Llama 3 Luxia Model Card},
  author={AILabs@Saltux},
  year={2024},
  url={https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B/blob/main/README.md}
}

原始 Llama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

📄 許可證

Llama3 許可證 https://llama.meta.com/llama3/license