Llama 2 Ko 7b

🚀 Llama-2-Ko 🦙🇰🇷

Llama-2-Koは、Llama 2の高度なバージョンです。拡張された語彙と韓国語コーパスを用いた追加事前学習の恩恵を受けています。前作と同様に、Llama-2-Koは70億から700億のパラメータを持つ広範な生成テキストモデルの中で動作します。このリポジトリは、Hugging Face Transformersフォーマットに合わせた7B事前学習バージョンに焦点を当てています。他のモデルにアクセスするには、以下のインデックスを参照してください。

✨ 主な機能

モデルの詳細

• モデル開発者：Junbum Lee (Beomi)
• バリエーション：Llama-2-Koは、7B、13B、70Bといった様々なパラメータサイズのほか、事前学習バージョンと微調整バージョンが用意されます。
• 入力：モデルはテキストのみを入力とします。
• 出力：モデルはテキストのみを生成します。
• モデルアーキテクチャ：Llama-2-Koは、Llama-2に基づく最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。

*200Bトークンまで学習する予定

語彙拡張

トークン化の例

「안녕하세요, 오늘은 날씨가 좋네요.」のトークン化

「Llama 2: Open Foundation and Fine-Tuned Chat Models」のトークン化

📚 ドキュメント

モデルベンチマーク

LM Eval Harness - 韓国語 (polyglotブランチ)

• EleutherAIのlm-evaluation-harnessを使用：https://github.com/EleutherAI/lm-evaluation-harness/tree/polyglot

NSMC (Acc) - 50000件の完全テスト

TBD

COPA (F1)

*Llama-2 Original 7Bはhttps://huggingface.co/meta-llama/Llama-2-7b-hf を使用（トークナイザ未更新）

HellaSwag (F1)

*Llama-2 Original 7Bはhttps://huggingface.co/meta-llama/Llama-2-7b-hf を使用（トークナイザ未更新）

BoolQ (F1)

*Llama-2 Original 7Bはhttps://huggingface.co/meta-llama/Llama-2-7b-hf を使用（トークナイザ未更新）

SentiNeg (F1)

*Llama-2 Original 7Bはhttps://huggingface.co/meta-llama/Llama-2-7b-hf を使用（トークナイザ未更新）

oobabooga/text-generation-webuiに関する注意事項

modules/models.pyのload_tokenizer関数（109行目またはその近く）でValueErrorを削除してください。

diff --git a/modules/models.py b/modules/models.py
index 232d5fa..de5b7a0 100644
--- a/modules/models.py
+++ b/modules/models.py
@@ -106,7 +106,7 @@ def load_tokenizer(model_name, model):
                 trust_remote_code=shared.args.trust_remote_code,
                 use_fast=False
             )
-        except ValueError:
+        except:
             tokenizer = AutoTokenizer.from_pretrained(
                 path_to_model,
                 trust_remote_code=shared.args.trust_remote_code,

Llama-2-Koは、sentencepieceパッケージではなくHF tokenizersが提供するFastTokenizerを使用するため、トークナイザを初期化する際にuse_fast=Trueオプションを使用する必要があります。

Apple SilliconはBF16演算をサポートしていないため、代わりにCPUを使用してください。（NVIDIA GPUを使用する場合はBF16がサポートされます）

引用

@misc {l._junbum_2023,
	author       = { {L. Junbum} },
	title        = { llama-2-ko-7b (Revision 4a9993e) },
	year         = 2023,
	url          = { https://huggingface.co/beomi/llama-2-ko-7b },
	doi          = { 10.57967/hf/1098 },
	publisher    = { Hugging Face }
}

謝辞

この学習は、TPU Research Cloudプログラムによってサポートされています。

Open LLM Leaderboard Evaluation Results

詳細な結果はこちらで確認できます。

更新履歴

• 2023.12.27
  • 新しいモデルが登場！オープンアクセス可能な韓国語テキストコーパスのみで学習：https://huggingface.co/beomi/open-llama-2-ko-7b
• 2023.10.19
  • transforemrs>=4.34.0以降でのトークナイザのバグ（デコード時にスペースが適用されない）を修正