42dot LLM PLM 1.3B

🚀 42dot_LLM-PLM-1.3B

42dot LLM-PLM 是由 42dot 开发的预训练语言模型（PLM），是 42dot LLM（大语言模型）的一部分。42dot LLM-PLM 使用韩语和英语文本语料库进行预训练，可作为多种韩语和英语自然语言任务的基础语言模型。本仓库包含该模型的 13 亿参数版本。

📚 模型描述

超参数

42dot LLM-PLM 基于类似于 LLaMA 2 的 Transformer 解码器架构构建，其超参数如下：

预训练

预训练大约花费了 49000 GPU 小时（NVIDIA A100）。相关设置如下：

(* 单位：词元)

预训练数据集

我们使用了一组公开可用的文本语料库，包括：

• 韩语：包括 Jikji 项目、mC4 - ko、LBox Open、KLUE、维基百科（韩语） 等。
• 英语：包括 The Pile、RedPajama、C4 等。

分词器

分词器基于字节级 BPE 算法。我们使用预训练语料库的一个子集从头开始训练其词汇表。为构建该子集，分别从韩语和英语语料库中采样了 1000 万个文档。最终的词汇表大小约为 5 万个。

零样本评估

我们在多种韩语和英语学术基准测试中对 42dot LLM-PLM 进行了评估。所有结果均使用 lm - eval - harness 和 Hugging Face Hub 上发布的模型获得。

韩语（KOBEST）

英语

⚠️ 局限性与伦理考量

42dot LLM-PLM 存在一些其他大语言模型（LLM）常见的局限性。例如，由于 42dot LLM-PLM 也会出现 幻觉现象，它可能会生成虚假和误导性内容。此外，由于使用了网络可用的训练数据，42dot LLM-PLM 可能会生成有毒、有害和有偏见的内容。我们强烈建议 42dot LLM-PLM 用户了解这些局限性，并采取必要措施来减轻这些问题。

📢 免责声明

42dot LLM 系列（“42dot LLM”）生成的内容不一定反映 42dot 公司（“42dot”）的观点或意见。42dot 对因使用 42dot LLM 及其生成的内容而产生的任何直接、间接、暗示、惩罚性、特殊、偶然或其他后果性损害，不承担任何责任。

📄 许可证

42dot LLM-PLM 采用知识共享署名 - 非商业性使用 4.0 国际许可协议（CC BY - NC 4.0）。

📝 引用

@misc{42dot2023llm,
      title={42dot LLM: A Series of Large Language Model by 42dot},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0},
}