Llama 13b Hf

🚀 llama-13b-hf

该权重文件被分割成大小为650MB的块，便于快速并行下载

这是 yahma/llama-13b-hf 的650M分割权重版本。

原始模型卡片如下：

🚀 快速开始

LLaMA-13B 于2023年4月8日转换为可与git head Transformers/HuggingFace配合使用的版本。此版本应能解决EOS令牌问题。

此模型遵循特殊许可证，请查看 LICENSE 文件以获取详细信息。

该仓库包含LLaMA-7b模型的权重。此模型遵循非商业许可证（请查看 LICENSE 文件）。 只有当你通过填写 此表单 获得了模型访问权限，但丢失了权重副本或在将其转换为Transformers格式时遇到问题，才应使用此仓库。

📚 详细文档

LLaMA模型卡片

模型详情

预期用途

主要预期用途

LLaMA的主要用途是进行大语言模型的研究，包括：

• 探索潜在应用，如问答、自然语言理解或阅读理解
• 了解当前语言模型的能力和局限性，并开发改进这些能力的技术
• 评估和减轻偏差、风险、有毒和有害内容生成、幻觉等问题

主要预期用户

该模型的主要预期用户是自然语言处理、机器学习和人工智能领域的研究人员。

超出范围的用例

LLaMA是一个基础模型。因此，在没有进一步的风险评估和缓解措施的情况下，不应将其用于下游应用。特别是，我们的模型没有经过人类反馈训练，因此可能会生成有毒或冒犯性内容、不正确的信息或通常无用的答案。

影响因素

相关因素

模型性能可能会因使用的语言而有所不同，这是最相关的因素之一。尽管我们在训练数据中包含了20种语言，但我们的大部分数据集是由英文文本组成的，因此我们预计模型在英文上的表现会优于其他语言。相关地，先前的研究表明，不同方言的性能可能会有所不同，我们预计我们的模型也会如此。

评估因素

由于我们的模型是在来自网络的数据上进行训练的，我们预计它会反映出该来源的偏差。因此，我们在RAI数据集上进行了评估，以衡量模型在性别、宗教、种族、性取向、年龄、国籍、残疾、外貌和社会经济地位方面表现出的偏差。我们还根据用于提示模型的上下文的毒性来衡量模型生成内容的毒性。

评估指标

模型性能指标

我们使用以下指标来评估模型：

• 常识推理、阅读理解、自然语言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的准确率
• 问答的完全匹配率
• RealToxicityPrompts上来自Perspective API的毒性得分

决策阈值

不适用。

处理不确定性和可变性的方法

由于训练大语言模型的计算要求很高，我们每种规模只训练了一个模型，因此无法评估预训练的可变性。

评估数据集

该模型在以下基准测试中进行了评估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

训练数据集

该模型使用以下数据源进行训练：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。Wikipedia和Books领域包括以下语言的数据：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有关训练集和相应预处理的更多详细信息，请参阅论文。

定量分析

模型架构的超参数

表1 - LLama模型超参数总结

我们在下表中展示了模型在八个标准常识推理基准测试中的结果。

表2 - LLama模型在推理任务上的性能总结

我们在下表中展示了模型的偏差结果。请注意，数值越低表示偏差越低。

表3 - 我们模型输出的偏差总结

伦理考量

数据

用于训练模型的数据是从各种来源收集的，主要来自网络。因此，它包含冒犯性、有害和有偏差的内容。因此，我们预计模型会表现出训练数据中的此类偏差。

人类生活

该模型并非旨在为与人类生活核心相关的事务提供决策依据，也不应以这种方式使用。

缓解措施

我们根据数据与维基百科文本和参考资料的接近程度对网络数据进行了过滤。为此，我们使用了Kneser-Ney语言模型和fastText线性分类器。

风险和危害

大语言模型的风险和危害包括生成有害、冒犯性或有偏差的内容。这些模型通常容易生成不正确的信息，有时被称为幻觉。我们预计我们的模型在这方面也不例外。

用例

LLaMA是一个基础模型。因此，在没有进一步调查和缓解风险的情况下，不应将其用于下游应用。这些风险和潜在的有问题的用例包括但不限于：生成错误信息以及生成有害、有偏差或冒犯性的内容。

📄 许可证

此模型遵循特殊许可证，请查看 LICENSE 文件以获取详细信息。该模型遵循非商业许可证（请查看 LICENSE 文件）。