Llama 2 Ko 7b

🚀 Llama-2-Ko 🦙🇰🇷

Llama-2-Ko 是 Llama 2 的高级版本，在进一步预训练中增加了词汇量，并纳入了韩语语料库。和其前身一样，Llama-2-Ko 属于生成式文本模型，参数范围从 70 亿到 700 亿。本仓库主要关注 70 亿参数的预训练版本，它适配了 Hugging Face Transformers 格式。如需访问其他模型，请参考下面的索引。

🚀 快速开始

本文档提供了 Llama-2-Ko 模型的详细信息，包括模型更新日志、模型细节、基准测试结果、使用注意事项、引用信息等。

✨ 主要特性

• 词汇扩展：在原有的 Llama-2 基础上，增加了韩语词汇，提升了韩语处理能力。
• 多参数版本：提供 70 亿、130 亿和 700 亿等不同参数规模的模型。
• 适配 Hugging Face：70 亿参数的预训练版本适配了 Hugging Face Transformers 格式。

📚 详细文档

更新日志

• 2023.12.27
  • 新模型发布！仅使用开放获取的韩语文本语料库进行训练：https://huggingface.co/beomi/open-llama-2-ko-7b
• 2023.10.19
  • 修复 transforemrs>=4.34.0 之后的分词器错误（解码时不应用空格）

模型细节

• 模型开发者：Junbum Lee (Beomi)
• 变体：Llama-2-Ko 有 70 亿、130 亿和 700 亿等不同参数规模，以及预训练和微调等不同版本。
• 输入：模型仅接受文本输入。
• 输出：模型仅生成文本输出。
• 模型架构：Llama-2-Ko 是一个自回归语言模型，基于 Llama-2 使用了优化的 Transformer 架构。

词汇扩展

分词示例

• 韩语句子 "안녕하세요, 오늘은 날씨가 좋네요." | 模型 | 分词结果 | | --- | --- | | Llama-2 | ['▁', '안', '<0xEB>', '<0x85>', '<0x95>', '하', '세', '요', ',', '▁', '오', '<0xEB>', '<0x8A>', '<0x98>', '은', '▁', '<0xEB>', '<0x82>', '<0xA0>', '씨', '가', '▁', '<0xEC>', '<0xA2>', '<0x8B>', '<0xEB>', '<0x84>', '<0xA4>', '요'] | | Llama-2-Ko | ['▁안녕', '하세요', ',', '▁오늘은', '▁날', '씨가', '▁좋네요'] |

• 英文句子 "Llama 2: Open Foundation and Fine-Tuned Chat Models" | 模型 | 分词结果 | | --- | --- | | Llama-2 | ['▁L', 'l', 'ama', '▁', '2', ':', '▁Open', '▁Foundation', '▁and', '▁Fine', '-', 'T', 'un', 'ed', '▁Ch', 'at', '▁Mod', 'els'] | | Llama-2-Ko | ['▁L', 'l', 'ama', '▁', '2', ':', '▁Open', '▁Foundation', '▁and', '▁Fine', '-', 'T', 'un', 'ed', '▁Ch', 'at', '▁Mod', 'els'] |

模型基准测试

LM Eval Harness - 韩语 (polyglot 分支)

使用了 EleutherAI 的 lm-evaluation-harness：https://github.com/EleutherAI/lm-evaluation-harness/tree/polyglot

NSMC (准确率)

测试数据为 50000 条完整测试集，结果待公布。

COPA (F1 分数)

HellaSwag (F1 分数)

BoolQ (F1 分数)

SentiNeg (F1 分数)

oobabooga/text-generation-webui 使用注意事项

需要在 modules/models.py 文件的 load_tokenizer 函数（第 109 行左右）中移除 ValueError 异常捕获。

diff --git a/modules/models.py b/modules/models.py
index 232d5fa..de5b7a0 100644
--- a/modules/models.py
+++ b/modules/models.py
@@ -106,7 +106,7 @@ def load_tokenizer(model_name, model):
                 trust_remote_code=shared.args.trust_remote_code,
                 use_fast=False
             )
-        except ValueError:
+        except:
             tokenizer = AutoTokenizer.from_pretrained(
                 path_to_model,
                 trust_remote_code=shared.args.trust_remote_code,

由于 Llama-2-Ko 使用了 HF tokenizers 提供的 FastTokenizer，而不是 sentencepiece 包，因此在初始化分词器时需要使用 use_fast=True 选项。

苹果硅芯片不支持 BF16 计算，请使用 CPU 代替（NVIDIA GPU 支持 BF16）。

引用信息

@misc {l._junbum_2023,
	author       = { {L. Junbum} },
	title        = { llama-2-ko-7b (Revision 4a9993e) },
	year         = 2023,
	url          = { https://huggingface.co/beomi/llama-2-ko-7b },
	doi          = { 10.57967/hf/1098 },
	publisher    = { Hugging Face }
}

致谢

本模型的训练得到了 TPU Research Cloud 项目的支持。

Open LLM 排行榜评估结果

详细结果请参考 此处