Codellama 70b Instruct Hf

🚀 Code Llama

Code Llama是一系列預訓練和微調的生成式文本模型，參數規模從70億到700億不等。本倉庫是Hugging Face Transformers格式的700億參數指令微調版本。該模型專為通用代碼合成和理解而設計。其他模型的鏈接可在底部索引中找到。

🚀 快速開始

要使用此模型，請確保安裝transformers：

pip install transformers accelerate

聊天使用

700億參數的指令模型與較小版本使用不同的提示模板。若要在transformers中使用它，建議使用內置的聊天模板：

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model_id = "meta-llama/CodeLlama-70b-Instruct-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

chat = [
    {"role": "system", "content": "You are a helpful and honest code assistant expert in JavaScript. Please, provide all answers to programming questions in JavaScript"},
    {"role": "user", "content": "Write a function that computes the set of sums of all contiguous sublists of a given list."},
]
inputs = tokenizer.apply_chat_template(chat, return_tensors="pt").to("cuda")

output = model.generate(input_ids=inputs, max_new_tokens=200)
output = output[0].to("cpu")
print(tokenizer.decode(output))

也可以將該模型用於文本或代碼補全。此示例使用transformers的pipeline接口：

from transformers import AutoTokenizer
import transformers
import torch

model_id = "meta-llama/CodeLlama-70b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

sequences = pipeline(
    'def fibonacci(',
    do_sample=True,
    temperature=0.2,
    top_p=0.9,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=100,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

✨ 主要特性

• [x] 代碼補全。
• [ ] 代碼填充。
• [x] 指令/聊天。
• [ ] Python專業支持。

📚 詳細文檔

聊天提示

Code Llama 70B Instruct的聊天提示格式與之前的Llama 2或Code Llama模型不同。如前所述，使用它的最簡單方法是藉助分詞器的聊天模板。如果需要手動構建字符串或標記，可按以下方法操作。

我們將使用以下虛構對話進行測試：

chat = [
    {"role": "system", "content": "System prompt    "},
    {"role": "user", "content": "First user query"},
    {"role": "assistant", "content": "Model response to first query"},
    {"role": "user", "content": "Second user query"},
]

首先，讓我們看看使用聊天模板時提示的樣子：

tokenizer.apply_chat_template(chat, tokenize=False)

'<s>Source: system\n\n System prompt <step> Source: user\n\n First user query <step> Source: assistant\n\n Model response to first query <step> Source: user\n\n Second user query <step> Source: assistant\nDestination: user\n\n '

因此，對話的每一回合都有一個Source（system、user或assistant），然後內容會在兩個換行符和一個空格後出現。回合之間用特殊標記<step>分隔。在最後一回合（必須來自user）之後，我們使用特殊語法Source: assistant\nDestination: user\n\n 邀請模型進行回覆。讓我們看看如何使用Python循環構建相同的字符串：

output = "<s>"
for m in chat:
    output += f"Source: {m['role']}\n\n {m['content'].strip()}"
    output += " <step> "
output += "Source: assistant\nDestination: user\n\n "
output

'<s>Source: system\n\n System prompt <step> Source: user\n\n First user query <step> Source: assistant\n\n Model response to first query <step> Source: user\n\n Second user query <step> Source: assistant\nDestination: user\n\n '

為了驗證我們的操作是否正確，我們將與原始GitHub倉庫中的參考代碼進行比較。我們使用相同的對話，並使用dialog_prompt_tokens函數對其進行分詞，得到以下標記：

reference_tokens = [1, 7562, 29901, 1788, 13, 13, 2184, 9508, 32015, 7562, 29901, 1404, 13, 13, 3824, 1404, 2346, 32015, 7562, 29901, 20255, 13, 13, 8125, 2933, 304, 937, 2346, 32015, 7562, 29901, 1404, 13, 13, 6440, 1404, 2346, 32015, 7562, 29901, 20255, 13, 14994, 3381, 29901, 1404, 13, 13, 29871]

讓我們看看使用Python循環構建的字符串會得到什麼結果。請注意，我們不添加“特殊標記”，因為字符串已經以<s>（句子開始標記）開頭：

tokens = tokenizer.encode(output, add_special_tokens=False)
assert reference_tokens == tokens

同樣，讓我們驗證聊天模板是否生成相同的標記序列：

assert reference_tokens == tokenizer.apply_chat_template(chat)

最後需要注意的是，如果對話不是以system回合開始，原始代碼會插入一個內容為空的system回合。

模型詳情

注意：此模型的使用受Meta許可證的約束。Meta開發並公開發布了Code Llama系列大語言模型（LLM）。

預期用途

預期用例

Code Llama及其變體旨在用於英語和相關編程語言的商業和研究用途。基礎模型Code Llama可適用於各種代碼合成和理解任務，Code Llama - Python專門用於處理Python編程語言，Code Llama - Instruct則更安全地用於代碼助手和生成應用程序。

超出範圍的用途

• 以任何違反適用法律法規（包括貿易合規法律）的方式使用。
• 使用英語以外的語言。
• 以Code Llama及其變體的可接受使用政策和許可協議所禁止的任何其他方式使用。

硬件和軟件

訓練因素

我們使用了自定義訓練庫。已發佈模型的訓練和微調是在Meta的研究超級集群上進行的。

碳足跡

總體而言，訓練所有12個Code Llama模型需要在A100 - 80GB（TDP為350 - 400W）類型的硬件上進行1400K GPU小時的計算。估計總排放量為228.55 tCO2eq，其中100%由Meta的可持續發展計劃抵消。

評估結果

請參閱研究論文第3節中主要模型的評估和詳細消融研究，以及第4節中的安全評估。

倫理考慮和侷限性

Code Llama及其變體是一種新技術，使用時存在風險。迄今為止進行的測試均使用英語，且未涵蓋也不可能涵蓋所有場景。因此，與所有大語言模型一樣，Code Llama的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶提示產生不準確或令人反感的響應。因此，在部署Code Llama的任何應用程序之前，開發者應針對其特定應用對模型進行安全測試和調整。

請參閱此處提供的負責任使用指南。

模型訪問許可說明

⚠️ 重要提示

你需要與Meta共享聯繫信息才能訪問此模型。點擊下方的“提交”按鈕，即表示你同意遵守《LLAMA 2社區許可協議》。

LLAMA 2社區許可協議

“協議”指本協議中規定的使用、複製、分發和修改Llama材料的條款和條件。 “文檔”指Meta在此處分發的Llama 2隨附的規範、手冊和文檔。 “被許可方”或“你”指你，或你的僱主，或任何其他人或實體（如果你代表該人或實體簽訂本協議），且你已達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果你代表你的僱主或其他人員或實體簽訂本協議，你具有約束他們的合法權力。 “Llama 2”指Meta在此處分發的基礎大語言模型、軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及上述內容的其他元素。 “Llama材料”指根據本協議提供的Meta專有的Llama 2和文檔（及其任何部分）。 “Meta”或“我們”指Meta Platforms Ireland Limited（如果你位於歐洲經濟區（EEA）或瑞士，或者如果你是一個實體，你的主要營業地位於歐洲經濟區或瑞士）和Meta Platforms, Inc.（如果你位於歐洲經濟區或瑞士以外）。

通過點擊下方的“我接受”，或使用或分發Llama材料的任何部分或元素，你同意受本協議的約束。

1. 許可權利和再分發

   • 權利授予：你被授予在Meta體現在Llama材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對Llama材料進行修改。
   • 再分發和使用
     • 如果你將Llama材料或其任何衍生作品分發給第三方，你應向該第三方提供本協議的副本。
     • 如果你作為集成最終用戶產品的一部分從被許可方處接收Llama材料或其任何衍生作品，則本協議第2條不適用於你。
     • 你必須在分發的所有Llama材料副本中，在作為此類副本一部分分發的“通知”文本文件中保留以下歸屬聲明：“Llama 2根據LLAMA 2社區許可獲得許可，版權所有 (c) Meta Platforms, Inc. 保留所有權利。”
     • 你對Llama材料的使用必須遵守適用的法律法規（包括貿易合規法律法規），並遵守Llama材料的可接受使用政策（可在此處獲取），該政策特此併入本協議。
     • 你不得使用Llama材料或Llama材料的任何輸出或結果來改進任何其他大語言模型（不包括Llama 2或其衍生作品）。

2. 額外商業條款：如果在Llama 2版本發佈日期，被許可方或被許可方的關聯公司提供的產品或服務的月活躍用戶在前一個日曆月超過7億，則你必須向Meta請求許可，Meta可自行決定是否授予你許可。在Meta明確授予你此類權利之前，你無權行使本協議下的任何權利。

3. 保修免責聲明：除非適用法律要求，否則Llama材料及其任何輸出和結果均按“原樣”提供，不提供任何形式的保證，無論是明示的還是暗示的，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。你獨自負責確定使用或再分發Llama材料的適當性，並承擔與你使用Llama材料及其任何輸出和結果相關的任何風險。

4. 責任限制：在任何情況下，Meta或其關聯公司均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、附帶性、懲戒性或懲罰性損害承擔責任，無論責任理論如何，包括合同、侵權、疏忽、產品責任或其他方面，即使Meta或其關聯公司已被告知此類損害的可能性。

5. 知識產權

   • 本協議未授予商標許可，並且在與Llama材料相關的情況下，除非在描述和再分發Llama材料時進行合理和慣常使用所需，否則Meta和被許可方均不得使用對方或其任何關聯公司擁有或與之相關的任何名稱或標記。
   • 鑑於Meta對Llama材料及其為Meta製作的衍生作品的所有權，就你製作的Llama材料的任何衍生作品和修改而言，在你和Meta之間，你是且將是此類衍生作品和修改的所有者。
   • 如果你對Meta或任何實體提起訴訟或其他法律程序（包括在訴訟中的交叉索賠或反訴），聲稱Llama材料或Llama 2的輸出或結果，或上述任何部分構成侵犯你擁有或可許可的知識產權或其他權利，則本協議授予你的任何許可將自此類訴訟或索賠提起之日起終止。你將賠償並使Meta免受任何第三方因你使用或分發Llama材料而產生或與之相關的任何索賠。

6. 期限和終止：本協議的期限將自你接受本協議或訪問Llama材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果你違反本協議的任何條款或條件，Meta可終止本協議。本協議終止後，你應刪除並停止使用Llama材料。第3、4和7條在本協議終止後仍然有效。

7. 適用法律和管轄權：本協議將受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，並且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Llama 2可接受使用政策

Meta致力於促進其工具和功能（包括Llama 2）的安全和公平使用。如果你訪問或使用Llama 2，即表示你同意本可接受使用政策（“政策”）。本政策的最新版本可在此處找到。

禁止使用情況

我們希望每個人都能安全、負責任地使用Llama 2。你同意不會使用或允許他人使用Llama 2進行以下行為：

1. 違反法律或他人權利
   • 從事、促進、生成、促成、鼓勵、策劃、煽動或進一步推動非法或違法活動或內容，例如：
     • 暴力或恐怖主義
     • 對兒童的剝削或傷害，包括招攬、創建、獲取或傳播兒童剝削內容或未報告兒童性虐待材料
     • 人口販運、剝削和性暴力
     • 向未成年人非法分發信息或材料，包括淫穢材料，或未對此類信息或材料採用法律要求的年齡限制
     • 性招攬
     • 任何其他犯罪活動
   • 從事、促進、煽動或便利對個人或群體的騷擾、虐待、威脅或欺凌
   • 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務的提供方面的歧視或其他非法或有害行為
   • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
   • 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
   • 從事或便利任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用Llama 2材料的任何產品或服務的輸出或結果
   • 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒或進行任何可能禁用、負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的其他操作
2. 從事、促進、煽動、便利或協助策劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下方面相關的Llama 2使用：
   • 軍事、戰爭、核工業或應用、間諜活動、使用受美國國務院維護的《國際武器貿易條例》（ITAR）管制的材料或活動
   • 槍支和非法武器（包括武器開發）
   • 非法藥物和受管制/受控物質
   • 關鍵基礎設施、運輸技術或重型機械的操作
   • 自我傷害或傷害他人，包括自殺、自殘和飲食失調
   • 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
3. 故意欺騙或誤導他人，包括與以下方面相關的Llama 2使用：
   • 生成、促進或進一步推動欺詐或創建或推廣虛假信息
   • 生成、促進或進一步推動誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
   • 生成、促進或進一步分發垃圾郵件
   • 在未經同意、授權或合法權利的情況下冒充他人
   • 聲稱使用Llama 2或其輸出是人類生成的
   • 生成或便利虛假的在線互動，包括虛假評論和其他虛假在線互動方式
4. 未能向最終用戶適當披露你的AI系統的任何已知危險

請通過以下方式之一報告任何違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題：

• 報告模型問題：github.com/facebookresearch/llama
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用Llama的情況：LlamaUseReport@meta.com

模型訪問所需信息

點擊下方的“提交”按鈕，即表示你接受許可條款，並確認你提供的信息將根據Meta隱私政策進行收集、存儲、處理和共享。

模型變體鏈接