Chronos 13b 4bit

🚀 chronos-13b-4bit

这是使用 true-sequential 和 groupsize 128 对 https://huggingface.co/elinas/chronos-13b 进行4位（int4）量化后的版本。该模型主要专注于聊天、角色扮演和故事创作，但也能完成其他任务，如简单推理和编码。Chronos 能够生成非常长且连贯的文本，这很大程度上得益于其训练所用的人工输入数据。

🚀 快速开始

此模型采用 Alpaca 格式，为获得最佳性能，请使用以下格式：

### Instruction:
Your instruction or question here.
### Response:

由 @TheBloke 提供的 GGML 版本

📄 许可证

许可证类型：other

📚 详细文档

LLaMA 模型卡片

模型详情

预期用途

• 主要预期用途：LLaMA 主要用于大语言模型的研究，包括探索问答、自然语言理解或阅读理解等潜在应用；了解当前语言模型的能力和局限性，并开发改进技术；评估和减轻偏见、风险、有毒和有害内容生成、幻觉等问题。
• 主要预期用户：该模型的主要预期用户是自然语言处理、机器学习和人工智能领域的研究人员。
• 超出范围的用例：LLaMA 是一个基础模型，在没有进一步风险评估和缓解措施的情况下，不应将其用于下游应用。特别是，该模型未经过人类反馈训练，因此可能会生成有毒或冒犯性内容、错误信息或通常无用的答案。

影响因素

• 相关因素：影响模型性能的一个重要因素是使用的语言。尽管训练数据包含 20 种语言，但大部分数据集是英文文本，因此预计模型在英文上的表现会优于其他语言。此外，先前的研究表明，不同方言也可能影响模型性能，我们预计该模型也会如此。
• 评估因素：由于模型是在网络数据上训练的，预计它会反映出这些来源的偏见。因此，我们在 RAI 数据集上进行评估，以衡量模型在性别、宗教、种族、性取向、年龄、国籍、残疾、外貌和社会经济地位等方面的偏见。我们还根据提示模型的上下文毒性来衡量模型生成内容的毒性。

评估指标

• 模型性能指标：我们使用以下指标评估模型：常识推理、阅读理解、自然语言理解（MMLU）、BIG-bench hard、WinoGender 和 CrowS-Pairs 的准确率；问答的精确匹配率；RealToxicityPrompts 上 Perspective API 的毒性得分。
• 决策阈值：不适用。
• 不确定性和可变性处理方法：由于训练大语言模型的计算要求很高，我们每种规模只训练了一个模型，因此无法评估预训练的可变性。

评估数据集

模型在以下基准测试中进行了评估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

训练数据集

模型使用以下来源的数据进行训练：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange [2%]。Wikipedia 和 Books 领域的数据包含以下语言：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有关训练集和相应预处理的更多详细信息，请参阅论文。

定量分析

• 模型架构超参数

表 1 - LLama 模型超参数总结

• 推理任务性能

表 2 - LLama 模型在推理任务上的性能总结

• 偏差评估

表 3 - 模型输出偏差总结

伦理考量

• 数据：用于训练模型的数据来自各种来源，主要是网络。因此，这些数据包含冒犯性、有害和有偏见的内容。我们预计模型会表现出训练数据中的这些偏见。
• 人类生活：该模型并非用于为与人类生活核心相关的决策提供信息，不应以这种方式使用。
• 缓解措施：我们根据网络数据与维基百科文本和参考资料的接近程度对其进行了过滤。为此，我们使用了 Kneser - Ney 语言模型和 fastText 线性分类器。
• 风险和危害：大语言模型的风险和危害包括生成有害、冒犯性或有偏见的内容。这些模型通常容易生成错误信息，有时也被称为幻觉。我们预计该模型也不例外。
• 使用场景：LLaMA 是一个基础模型，在没有进一步调查和风险缓解措施的情况下，不应将其用于下游应用。这些风险和潜在的不良使用场景包括但不限于：生成错误信息、生成有害、有偏见或冒犯性的内容。