42dot LLM PLM 1.3B

🚀 42dot_LLM-PLM-1.3B

42dot LLM-PLM は、42dot によって開発された事前学習言語モデル（PLM）であり、42dot LLM（大規模言語モデル）の一部です。42dot LLM-PLM は、韓国語と英語のテキストコーパスを使用して事前学習されており、いくつかの韓国語と英語の自然言語タスクの基礎言語モデルとして使用できます。このリポジトリには、パラメータ数が 13 億のモデルのバージョンが含まれています。

🚀 クイックスタート

このセクションでは、42dot LLM-PLM-1.3B の概要を説明し、その特徴や事前学習の詳細について解説します。

✨ 主な機能

• 韓国語と英語の自然言語タスクに対応した事前学習言語モデル。
• Transformer デコーダーアーキテクチャをベースに構築されている。
• 公開されている多様なテキストコーパスを使用して事前学習されている。

📚 ドキュメント

ハイパーパラメータ

42dot LLM-PLM は、LLaMA 2 と同様の Transformer デコーダーアーキテクチャをベースに構築されており、そのハイパーパラメータは以下の通りです。

事前学習

事前学習には、約 49,000 GPU 時間（NVIDIA A100）がかかりました。関連する設定は以下の通りです。

(* 単位: トークン)

事前学習データセット

以下の公開されているテキストコーパスを使用しました。

• 韓国語: Jikji project、mC4-ko、LBox Open、KLUE、Wikipedia (Korean) など。
• 英語: The Pile、RedPajama、C4 など。

トークナイザー

トークナイザーは、Byte-level BPE アルゴリズムに基づいています。事前学習コーパスのサブセットを使用して、語彙を最初から学習しました。サブセットを構築するために、韓国語と英語のコーパスからそれぞれ 1000 万件のドキュメントをサンプリングしました。結果として得られた語彙サイズは約 5 万です。

ゼロショット評価

42dot LLM-PLM を、韓国語と英語の様々な学術的ベンチマークで評価しました。すべての結果は、lm-eval-harness と Hugging Face Hub で公開されているモデルを使用して取得されています。

韓国語 (KOBEST)

英語

🔧 技術詳細

42dot LLM-PLM は、他の大規模言語モデル（LLM）と同様の多くの既知の制限があります。例えば、42dot LLM-PLM も 幻覚現象 の影響を受けるため、誤った情報や誤解を招く内容を生成する可能性があります。また、ウェブ上で利用可能な学習データを使用しているため、有毒な、有害な、偏った内容を生成する可能性があります。42dot LLM-PLM のユーザーは、これらの制限を認識し、それらの問題を軽減するために必要な措置を講じることを強くお勧めします。

📄 ライセンス

42dot LLM-PLM は、Creative Commons Attribution-NonCommercial 4.0（CC BY-NC 4.0）ライセンスの下で提供されています。

引用

@misc{42dot2023llm,
      title={42dot LLM: A Series of Large Language Model by 42dot},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0},
}

⚠️ 重要提示

42dot LLM シリーズ（「42dot LLM」）によって生成される内容は、必ずしも 42dot Inc.（「42dot」）の見解や意見を反映しているとは限りません。42dot は、42dot LLM およびその生成内容の使用に起因する直接的、間接的、黙示的、懲罰的、特別な、偶発的、またはその他の結果的損害に対して、いかなる責任も負いません。