42dot LLM PLM 1.3B

🚀 42dot_LLM-PLM-1.3B

42dot LLM-PLM 是由 42dot 開發的預訓練語言模型（PLM），是 42dot LLM（大語言模型）的一部分。42dot LLM-PLM 使用韓語和英語文本語料庫進行預訓練，可作為多種韓語和英語自然語言任務的基礎語言模型。本倉庫包含該模型的 13 億參數版本。

📚 模型描述

超參數

42dot LLM-PLM 基於類似於 LLaMA 2 的 Transformer 解碼器架構構建，其超參數如下：

預訓練

預訓練大約花費了 49000 GPU 小時（NVIDIA A100）。相關設置如下：

(* 單位：詞元)

預訓練數據集

我們使用了一組公開可用的文本語料庫，包括：

• 韓語：包括 Jikji 項目、mC4 - ko、LBox Open、KLUE、維基百科（韓語） 等。
• 英語：包括 The Pile、RedPajama、C4 等。

分詞器

分詞器基於字節級 BPE 算法。我們使用預訓練語料庫的一個子集從頭開始訓練其詞彙表。為構建該子集，分別從韓語和英語語料庫中採樣了 1000 萬個文檔。最終的詞彙表大小約為 5 萬個。

零樣本評估

我們在多種韓語和英語學術基準測試中對 42dot LLM-PLM 進行了評估。所有結果均使用 lm - eval - harness 和 Hugging Face Hub 上發佈的模型獲得。

韓語（KOBEST）

英語

⚠️ 侷限性與倫理考量

42dot LLM-PLM 存在一些其他大語言模型（LLM）常見的侷限性。例如，由於 42dot LLM-PLM 也會出現 幻覺現象，它可能會生成虛假和誤導性內容。此外，由於使用了網絡可用的訓練數據，42dot LLM-PLM 可能會生成有毒、有害和有偏見的內容。我們強烈建議 42dot LLM-PLM 用戶瞭解這些侷限性，並採取必要措施來減輕這些問題。

📢 免責聲明

42dot LLM 系列（“42dot LLM”）生成的內容不一定反映 42dot 公司（“42dot”）的觀點或意見。42dot 對因使用 42dot LLM 及其生成的內容而產生的任何直接、間接、暗示、懲罰性、特殊、偶然或其他後果性損害，不承擔任何責任。

📄 許可證

42dot LLM-PLM 採用知識共享署名 - 非商業性使用 4.0 國際許可協議（CC BY - NC 4.0）。

📝 引用

@misc{42dot2023llm,
      title={42dot LLM: A Series of Large Language Model by 42dot},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0},
}