Codellama 34B Python Fp16

🚀 CodeLlama 34B-Python fp16

CodeLlama 34B-Python fp16 是转换为 Transformers/HF 格式的权重模型，可用于代码生成等相关任务，为开发者提供了便捷的代码处理能力。

🚀 快速开始

由于 RoPE Theta 值的更改，若要获得正确结果，必须使用 trust_remote_code=True 加载这些 FP16 模型。

✨ 主要特性

• 本模型为 CodeLlama 34B-Python 的 Transformers/HF 格式 fp16 权重。
• 是从 Meta 下载 CodeLlama 34B-Python 并使用 convert_llama_weights_to_hf.py 转换为 HF 格式的结果。
• 量化版本即将推出。

📚 详细文档

模型信息

提示模板

提示模板：待确定

原模型卡片

模型详情

• 模型开发者：Meta AI
• 变体：Code Llama 有三种模型大小和三种变体：
  1. Code Llama：用于通用代码合成和理解的基础模型。
  2. Code Llama - Python：专门为 Python 设计。
  3. Code Llama - Instruct：用于遵循指令和更安全的部署。 所有变体都有 7B、13B 和 34B 参数的版本。
• 输入：模型仅接受文本输入。
• 输出：模型仅输出文本。
• 模型架构：Code Llama 及其变体是使用优化变压器架构的自回归语言模型。Code Llama 7B 和 13B 还支持填充文本生成。所有模型都在最多 16K 个标记上进行了微调，并在推理时支持最多 100K 个标记。
• 模型日期：Code Llama 及其变体于 2023 年 1 月至 2023 年 7 月期间进行训练。
• 状态：这是一个在离线数据集上训练的静态模型。随着我们根据社区反馈改进模型安全性，未来将发布 Code Llama - Instruct 的新版本。
• 许可证：可在 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 获取自定义商业许可证。
• 研究论文：更多信息可在论文 "Code Llama: Open Foundation Models for Code" 中找到。
• 反馈渠道：有关如何提供对模型的反馈或评论的说明，请参阅模型 README，或在 GitHub 存储库 (https://github.com/facebookresearch/codellama/) 中提出问题。

预期用途

• 预期用例：Code Llama 及其变体旨在用于英语和相关编程语言的商业和研究用途。基础模型 Code Llama 可适用于各种代码合成和理解任务，Code Llama - Python 专门用于处理 Python 编程语言，Code Llama - Instruct 旨在更安全地用于代码助手和生成应用程序。
• 禁止用途：以任何违反适用法律法规（包括贸易合规法律）的方式使用。使用英语以外的语言。以 Code Llama 及其变体的可接受使用政策和许可协议禁止的任何其他方式使用。

硬件和软件

• 训练因素：使用自定义训练库。已发布模型的训练和微调在 Meta 的研究超级集群上进行。
• 碳足迹：总体而言，训练所有 9 个 Code Llama 模型需要在 A100 - 80GB 类型的硬件（TDP 为 350 - 400W）上进行 400K GPU 小时的计算。估计总排放量为 65.3 tCO2eq，其中 100% 由 Meta 的可持续发展计划抵消。
• 训练数据：此处报告的所有实验和已发布的模型都使用与 Llama 2 相同的数据进行训练和微调，但权重不同（详情请参阅 研究论文 中的第 2 节和表 1）。Code Llama - Instruct 使用额外的指令微调数据。
• 评估结果：请参阅研究论文第 3 节中主要模型的评估和详细消融实验，以及第 4 节中的安全评估。

伦理考量和局限性

Code Llama 及其变体是一项带有使用风险的新技术。迄今为止进行的测试均使用英语，且未涵盖也无法涵盖所有场景。因此，与所有大语言模型一样，Code Llama 的潜在输出无法提前预测，并且在某些情况下，模型可能会对用户提示产生不准确或令人反感的响应。因此，在部署 Code Llama 的任何应用程序之前，开发者应针对其特定的模型应用进行安全测试和调整。

请参阅 https://ai.meta.com/llama/responsible-user-guide 上的负责任使用指南。

📄 许可证

本模型使用 llama2 许可证。

Discord

如需进一步支持，以及参与这些模型和人工智能的一般性讨论，请加入：

TheBloke AI 的 Discord 服务器

致谢与贡献方式

感谢 chirper.ai 团队！

很多人询问是否可以提供贡献。我喜欢提供模型并帮助他人，也希望能有更多时间投入其中，还想拓展到新的项目，如微调/训练。

如果您有能力且愿意提供贡献，我将不胜感激，这将有助于我继续提供更多模型，并启动新的人工智能项目。

捐赠者将在所有人工智能/大语言模型/模型相关问题和请求上获得优先支持，可访问私人 Discord 房间，还有其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon 特别提及：Sam, theTransient, Jonathan Leane, Steven Wood, webtim, Johann - Peter Hartmann, Geoffrey Montalvo, Gabriel Tamborski, Willem Michiel, John Villwock, Derek Yates, Mesiah Bishop, Eugene Pentland, Pieter, Chadd, Stephen Murray, Daniel P. Andersen, terasurfer, Brandon Frisco, Thomas Belote, Sid, Nathan LeClaire, Magnesian, Alps Aficionado, Stanislav Ovsiannikov, Alex, Joseph William Delisle, Nikolai Manek, Michael Davis, Junyu Yang, K, J, Spencer Kim, Stefan Sabev, Olusegun Samson, transmissions 11, Michael Levine, Cory Kujawski, Rainer Wilmers, zynix, Kalila, Luke @flexchar, Ajan Kanaga, Mandus, vamX, Ai Maven, Mano Prime, Matthew Berman, subjectnull, Vitor Caleffi, Clay Pascal, biorpg, alfie_i, 阿明, Jeffrey Morgan, ya boyyy, Raymond Fosdick, knownsqashed, Olakabola, Leonard Tan, ReadyPlayerEmma, Enrico Ros, Dave, Talal Aujan, Illia Dulskyi, Sean Connelly, senxiiz, Artur Olbinski, Elle, Raven Klaugh, Fen Risland, Deep Realms, Imad Khwaja, Fred von Graf, Will Dee, usrbinkat, SuperWojo, Alexandros Triantafyllidis, Swaroop Kallakuri, Dan Guido, John Detwiler, Pedro Madruga, Iucharbius, Viktor Bowallius, Asp the Wyvern, Edmond Seymore, Trenton Dambrowitz, Space Cruiser, Spiking Neurons AB, Pyrater, LangChain4j, Tony Hughes, Kacper Wikieł, Rishabh Srivastava, David Ziegler, Luke Pendergrass, Andrey, Gabriel Puliatti, Lone Striker, Sebastain Graf, Pierre Kircher, Randy H, NimbleBox.ai, Vadim, danny, Deo Leter

感谢所有慷慨的赞助者和捐赠者！

再次感谢 a16z 的慷慨资助。