Codegemma 7b It

🚀 CodeGemma

CodeGemma是基於Gemma構建的輕量級開源代碼模型集合，可用於代碼補全、代碼生成、代碼對話等多種任務，為開發者提供高效的代碼處理能力。

🚀 快速開始

要在Hugging Face上訪問CodeGemma，您需要查看並同意Google的使用許可。請確保您已登錄Hugging Face，然後點擊下方按鈕。請求將立即處理。

確認許可

✨ 主要特性

• 多種模型變體：提供20億參數、70億預訓練和70億指令微調三種不同參數規模的模型，滿足不同場景需求。
• 多任務支持：支持代碼補全、自然語言生成代碼、代碼對話和指令跟隨等多種任務。
• 高性能表現：在多個編碼和自然語言基準測試中表現出色。

📦 安裝指南

暫未提供相關安裝步驟，可參考模型官方文檔進行安裝。

💻 使用示例

基礎用法

以下是使用CodeGemma進行代碼生成的基礎示例：

from transformers import GemmaTokenizer, AutoModelForCausalLM

tokenizer = GemmaTokenizer.from_pretrained("google/codegemma-7b-it")
model = AutoModelForCausalLM.from_pretrained("google/codegemma-7b-it")

input_text = "Write me a Python function to calculate the nth fibonacci number."
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

高級用法

以下是使用CodeGemma進行代碼對話的高級示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model_id = "google/codegemma-7b-it"
dtype = torch.bfloat16

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="cuda",
    torch_dtype=dtype,
)

chat = [
    { "role": "user", "content": "Write a hello world program" },
]

prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=150)

📚 詳細文檔

模型信息

描述

CodeGemma是基於Gemma構建的輕量級開源代碼模型集合。CodeGemma模型是文本到文本和文本到代碼的僅解碼器模型，有70億預訓練變體、70億參數指令調優變體和20億參數預訓練變體三種版本，分別適用於代碼補全、代碼生成、代碼對話和指令跟隨等任務。

輸入輸出

• 輸入：
  • 預訓練模型變體：代碼前綴和/或後綴用於代碼補全和生成場景，或自然語言文本或提示。
  • 指令調優模型變體：自然語言文本或提示。
• 輸出：
  • 預訓練模型變體：中間填充代碼補全、代碼和自然語言。
  • 指令調優模型變體：代碼和自然語言。

模型數據

訓練數據集

以Gemma為基礎模型，CodeGemma 2B和7B預訓練變體在額外的5000億個主要為英語的令牌上進行訓練，這些數據來自公開可用的代碼倉庫、開源數學數據集和合成生成的代碼。

訓練數據處理

採用了以下數據預處理技術：

• FIM預訓練：CodeGemma模型專注於中間填充（FIM）任務，支持PSM和SPM模式，FIM率為80%，PSM/SPM比例為50-50。
• 基於依賴圖和單元測試的打包技術：為提高模型與實際應用的對齊，在項目/倉庫級別構建訓練示例，採用依賴圖打包和單元測試詞法打包技術。
• 文檔拆分技術：開發了一種將文檔拆分為前綴、中間和後綴的新技術，使後綴從更符合語法的自然點開始。
• 安全過濾：與Gemma類似，採用嚴格的安全過濾，包括過濾個人數據、CSAM過濾和其他基於內容質量和安全的過濾。

實現信息

硬件

CodeGemma使用最新一代的張量處理單元（TPU）硬件（TPUv5e）進行訓練。

軟件

使用JAX和ML Pathways進行訓練。

評估信息

評估方法

在多個領域的學術基準測試中評估CodeGemma：

• 代碼補全基準：HumanEval單行和多行填充。
• 代碼生成基準：HumanEval、MBPP、BabelCode（C++、C#、Go、Java、JavaScript、Kotlin、Python、Rust）。
• 問答：BoolQ、PIQA、TriviaQA。
• 自然語言：ARC-Challenge、HellaSwag、MMLU、WinoGrande。
• 數學推理：GSM8K、MATH。

評估結果

編碼基準測試

自然語言基準測試

倫理與安全

評估方法

評估方法包括結構化評估和內部紅隊測試，針對與倫理和安全相關的多個類別進行評估，包括內容安全和代表性危害的人工評估，以及對網絡攻擊能力的特定測試。

評估結果

倫理和安全評估結果在可接受的閾值內，符合內部政策，如兒童安全、內容安全、代表性危害、記憶和大規模危害等方面。

模型使用與限制

預期用途

CodeGemma模型具有廣泛的應用場景，不同IT和PT模型的應用有所不同：

• 代碼補全：PT模型可用於通過IDE擴展完成代碼。
• 代碼生成：IT模型可用於生成代碼，有無IDE擴展均可。
• 代碼對話：IT模型可驅動討論代碼的對話界面。
• 代碼教育：IT模型支持交互式代碼學習體驗，輔助語法糾正或提供編碼練習。

已知限制

大語言模型（LLM）受訓練數據和技術本身的限制，具體限制可參考Gemma模型卡片。

倫理考慮與風險

大語言模型（LLM）的開發引發了一些倫理問題，在模型開發過程中已仔細考慮多個方面，具體細節可參考Gemma模型卡片。

優勢

發佈時，與同等規模的模型相比，該系列模型提供了高性能的專注於開源代碼的大語言模型實現，專為負責任的AI開發而設計。在本文檔描述的編碼基準評估指標中，這些模型表現優於其他同等規模的開源模型。

🔧 技術細節

CodeGemma模型基於Gemma構建，採用了多種先進的技術和方法，包括FIM預訓練、基於依賴圖和單元測試的打包技術、文檔拆分技術和安全過濾等，以提高模型的性能和安全性。

📄 許可證

本模型使用Gemma許可證。

模型鏈接

• CodeGemma
• 技術報告
• 負責任的生成式AI工具包
• 使用條款

作者

Google