Decapoda Research Llama 7B Hf

🚀 LLaMA模型

LLaMA-7B已转换为可与Transformers/HuggingFace配合使用的版本。此模型受特殊许可证约束，具体详情请参阅LICENSE文件。

🚀 快速开始

本README文档将详细介绍LLaMA模型的相关信息，包括模型细节、预期用途、评估指标等内容。

📚 详细文档

模型详情

• 模型开发组织：Meta AI的FAIR团队。
• 模型日期：LLaMA于2022年12月至2023年2月期间进行训练。
• 模型版本：这是模型的第1版。
• 模型类型：LLaMA是基于Transformer架构的自回归语言模型。该模型有不同的规模，分别为70亿、130亿、330亿和650亿参数。
• 更多信息的论文或资源：更多信息可在论文《LLaMA, Open and Efficient Foundation Language Models》中找到，论文链接为https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/。
• 引用详情：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
• 许可证：非商业定制许可证。
• 关于模型问题或建议的反馈途径：有关LLaMA的问题和建议可通过项目的GitHub仓库提交issue进行反馈。

预期用途

• 主要预期用途：LLaMA的主要用途是用于大语言模型的研究，包括：探索问答、自然语言理解或阅读理解等潜在应用；了解当前语言模型的能力和局限性，并开发改进这些能力的技术；评估和减轻偏差、风险、有毒和有害内容生成以及幻觉问题。
• 主要预期用户：该模型的主要预期用户是自然语言处理、机器学习和人工智能领域的研究人员。
• 超出适用范围的用例：LLaMA是一个基础模型。因此，在未进行进一步风险评估和缓解的情况下，不应将其用于下游应用。特别是，我们的模型没有经过人类反馈训练，因此可能会生成有毒或冒犯性内容、不正确的信息或通常无用的答案。

影响因素

• 相关因素：影响模型性能的一个最相关因素是所使用的语言。尽管我们在训练数据中包含了20种语言，但大部分数据集是英文文本，因此我们预计模型在英语上的表现会优于其他语言。相关地，先前的研究表明，不同方言的性能可能会有所不同，我们预计我们的模型也会出现这种情况。
• 评估因素：由于我们的模型是在网络数据上进行训练的，我们预计它会反映出该来源的偏差。因此，我们在RAI数据集上进行了评估，以衡量模型在性别、宗教、种族、性取向、年龄、国籍、残疾、外貌和社会经济地位等方面表现出的偏差。我们还根据用于提示模型的上下文的毒性来衡量模型生成内容的毒性。

评估指标

• 模型性能衡量指标：我们使用以下指标来评估模型：
  • 常识推理、阅读理解、自然语言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的准确率；
  • 问答的完全匹配率；
  • RealToxicityPrompts上来自Perspective API的毒性得分。
• 决策阈值：不适用。
• 处理不确定性和可变性的方法：由于训练大语言模型的计算要求很高，我们每种规模只训练了一个模型，因此无法评估预训练的可变性。

评估数据集

该模型在以下基准测试中进行了评估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

训练数据集

该模型使用以下数据源进行训练：CCNet [67%]、C4 [15%]、GitHub [4.5%]、维基百科 [4.5%]、书籍 [4.5%]、arXiv [2.5%]、Stack Exchange [2%]。维基百科和书籍领域的数据包含以下语言：保加利亚语（bg）、加泰罗尼亚语（ca）、捷克语（cs）、丹麦语（da）、德语（de）、英语（en）、西班牙语（es）、法语（fr）、克罗地亚语（hr）、匈牙利语（hu）、意大利语（it）、荷兰语（nl）、波兰语（pl）、葡萄牙语（pt）、罗马尼亚语（ro）、俄语（ru）、斯洛文尼亚语（sl）、塞尔维亚语（sr）、瑞典语（sv）、乌克兰语（uk）。有关训练集和相应预处理的更多详细信息，请参阅论文。

定量分析

模型架构超参数

表1 - LLaMA模型超参数总结

八项标准常识推理基准测试结果

表2 - LLaMA模型在推理任务上的性能总结

偏差评估结果

表3 - 我们模型输出的偏差总结

伦理考量

• 数据：用于训练模型的数据来自各种来源，主要是网络。因此，它包含冒犯性、有害和有偏差的内容。我们预计模型会表现出训练数据中的此类偏差。
• 人类生活：该模型并非用于为与人类生活核心相关的决策提供信息，也不应以这种方式使用。
• 缓解措施：我们根据网络数据与维基百科文本和参考文献的接近程度对其进行了过滤。为此，我们使用了Kneser - Ney语言模型和fastText线性分类器。
• 风险和危害：大语言模型的风险和危害包括生成有害、冒犯性或有偏差的内容。这些模型通常容易生成不正确的信息，有时被称为幻觉。我们预计我们的模型在这方面也不例外。
• 用例：LLaMA是一个基础模型，因此，在未进一步调查和缓解风险的情况下，不应将其用于下游应用。这些风险和潜在的有问题用例包括但不限于：生成错误信息以及生成有害、有偏差或冒犯性内容。

📄 许可证

非商业定制许可证。具体详情请参阅LICENSE文件。