Codellama 34B Python Fp16

🚀 CodeLlama 34B-Python fp16

CodeLlama 34B-Python fp16 是轉換為 Transformers/HF 格式的權重模型，可用於代碼生成等相關任務，為開發者提供了便捷的代碼處理能力。

🚀 快速開始

由於 RoPE Theta 值的更改，若要獲得正確結果，必須使用 trust_remote_code=True 加載這些 FP16 模型。

✨ 主要特性

• 本模型為 CodeLlama 34B-Python 的 Transformers/HF 格式 fp16 權重。
• 是從 Meta 下載 CodeLlama 34B-Python 並使用 convert_llama_weights_to_hf.py 轉換為 HF 格式的結果。
• 量化版本即將推出。

📚 詳細文檔

模型信息

提示模板

提示模板：待確定

原模型卡片

模型詳情

• 模型開發者：Meta AI
• 變體：Code Llama 有三種模型大小和三種變體：
  1. Code Llama：用於通用代碼合成和理解的基礎模型。
  2. Code Llama - Python：專門為 Python 設計。
  3. Code Llama - Instruct：用於遵循指令和更安全的部署。 所有變體都有 7B、13B 和 34B 參數的版本。
• 輸入：模型僅接受文本輸入。
• 輸出：模型僅輸出文本。
• 模型架構：Code Llama 及其變體是使用優化變壓器架構的自迴歸語言模型。Code Llama 7B 和 13B 還支持填充文本生成。所有模型都在最多 16K 個標記上進行了微調，並在推理時支持最多 100K 個標記。
• 模型日期：Code Llama 及其變體於 2023 年 1 月至 2023 年 7 月期間進行訓練。
• 狀態：這是一個在離線數據集上訓練的靜態模型。隨著我們根據社區反饋改進模型安全性，未來將發佈 Code Llama - Instruct 的新版本。
• 許可證：可在 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 獲取自定義商業許可證。
• 研究論文：更多信息可在論文 "Code Llama: Open Foundation Models for Code" 中找到。
• 反饋渠道：有關如何提供對模型的反饋或評論的說明，請參閱模型 README，或在 GitHub 存儲庫 (https://github.com/facebookresearch/codellama/) 中提出問題。

預期用途

• 預期用例：Code Llama 及其變體旨在用於英語和相關編程語言的商業和研究用途。基礎模型 Code Llama 可適用於各種代碼合成和理解任務，Code Llama - Python 專門用於處理 Python 編程語言，Code Llama - Instruct 旨在更安全地用於代碼助手和生成應用程序。
• 禁止用途：以任何違反適用法律法規（包括貿易合規法律）的方式使用。使用英語以外的語言。以 Code Llama 及其變體的可接受使用政策和許可協議禁止的任何其他方式使用。

硬件和軟件

• 訓練因素：使用自定義訓練庫。已發佈模型的訓練和微調在 Meta 的研究超級集群上進行。
• 碳足跡：總體而言，訓練所有 9 個 Code Llama 模型需要在 A100 - 80GB 類型的硬件（TDP 為 350 - 400W）上進行 400K GPU 小時的計算。估計總排放量為 65.3 tCO2eq，其中 100% 由 Meta 的可持續發展計劃抵消。
• 訓練數據：此處報告的所有實驗和已發佈的模型都使用與 Llama 2 相同的數據進行訓練和微調，但權重不同（詳情請參閱 研究論文 中的第 2 節和表 1）。Code Llama - Instruct 使用額外的指令微調數據。
• 評估結果：請參閱研究論文第 3 節中主要模型的評估和詳細消融實驗，以及第 4 節中的安全評估。

倫理考量和侷限性

Code Llama 及其變體是一項帶有使用風險的新技術。迄今為止進行的測試均使用英語，且未涵蓋也無法涵蓋所有場景。因此，與所有大語言模型一樣，Code Llama 的潛在輸出無法提前預測，並且在某些情況下，模型可能會對用戶提示產生不準確或令人反感的響應。因此，在部署 Code Llama 的任何應用程序之前，開發者應針對其特定的模型應用進行安全測試和調整。

請參閱 https://ai.meta.com/llama/responsible-user-guide 上的負責任使用指南。

📄 許可證

本模型使用 llama2 許可證。

Discord

如需進一步支持，以及參與這些模型和人工智能的一般性討論，請加入：

TheBloke AI 的 Discord 服務器

致謝與貢獻方式

感謝 chirper.ai 團隊！

很多人詢問是否可以提供貢獻。我喜歡提供模型並幫助他人，也希望能有更多時間投入其中，還想拓展到新的項目，如微調/訓練。

如果您有能力且願意提供貢獻，我將不勝感激，這將有助於我繼續提供更多模型，並啟動新的人工智能項目。

捐贈者將在所有人工智能/大語言模型/模型相關問題和請求上獲得優先支持，可訪問私人 Discord 房間，還有其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別感謝：Aemon Algiz。

Patreon 特別提及：Sam, theTransient, Jonathan Leane, Steven Wood, webtim, Johann - Peter Hartmann, Geoffrey Montalvo, Gabriel Tamborski, Willem Michiel, John Villwock, Derek Yates, Mesiah Bishop, Eugene Pentland, Pieter, Chadd, Stephen Murray, Daniel P. Andersen, terasurfer, Brandon Frisco, Thomas Belote, Sid, Nathan LeClaire, Magnesian, Alps Aficionado, Stanislav Ovsiannikov, Alex, Joseph William Delisle, Nikolai Manek, Michael Davis, Junyu Yang, K, J, Spencer Kim, Stefan Sabev, Olusegun Samson, transmissions 11, Michael Levine, Cory Kujawski, Rainer Wilmers, zynix, Kalila, Luke @flexchar, Ajan Kanaga, Mandus, vamX, Ai Maven, Mano Prime, Matthew Berman, subjectnull, Vitor Caleffi, Clay Pascal, biorpg, alfie_i, 阿明, Jeffrey Morgan, ya boyyy, Raymond Fosdick, knownsqashed, Olakabola, Leonard Tan, ReadyPlayerEmma, Enrico Ros, Dave, Talal Aujan, Illia Dulskyi, Sean Connelly, senxiiz, Artur Olbinski, Elle, Raven Klaugh, Fen Risland, Deep Realms, Imad Khwaja, Fred von Graf, Will Dee, usrbinkat, SuperWojo, Alexandros Triantafyllidis, Swaroop Kallakuri, Dan Guido, John Detwiler, Pedro Madruga, Iucharbius, Viktor Bowallius, Asp the Wyvern, Edmond Seymore, Trenton Dambrowitz, Space Cruiser, Spiking Neurons AB, Pyrater, LangChain4j, Tony Hughes, Kacper Wikieł, Rishabh Srivastava, David Ziegler, Luke Pendergrass, Andrey, Gabriel Puliatti, Lone Striker, Sebastain Graf, Pierre Kircher, Randy H, NimbleBox.ai, Vadim, danny, Deo Leter

感謝所有慷慨的贊助者和捐贈者！

再次感謝 a16z 的慷慨資助。