Codegemma 7b It

🚀 CodeGemma

CodeGemma是基于Gemma构建的轻量级开源代码模型集合，可用于代码补全、代码生成、代码对话等多种任务，为开发者提供高效的代码处理能力。

🚀 快速开始

要在Hugging Face上访问CodeGemma，您需要查看并同意Google的使用许可。请确保您已登录Hugging Face，然后点击下方按钮。请求将立即处理。

确认许可

✨ 主要特性

• 多种模型变体：提供20亿参数、70亿预训练和70亿指令微调三种不同参数规模的模型，满足不同场景需求。
• 多任务支持：支持代码补全、自然语言生成代码、代码对话和指令跟随等多种任务。
• 高性能表现：在多个编码和自然语言基准测试中表现出色。

📦 安装指南

暂未提供相关安装步骤，可参考模型官方文档进行安装。

💻 使用示例

基础用法

以下是使用CodeGemma进行代码生成的基础示例：

from transformers import GemmaTokenizer, AutoModelForCausalLM

tokenizer = GemmaTokenizer.from_pretrained("google/codegemma-7b-it")
model = AutoModelForCausalLM.from_pretrained("google/codegemma-7b-it")

input_text = "Write me a Python function to calculate the nth fibonacci number."
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

高级用法

以下是使用CodeGemma进行代码对话的高级示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model_id = "google/codegemma-7b-it"
dtype = torch.bfloat16

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="cuda",
    torch_dtype=dtype,
)

chat = [
    { "role": "user", "content": "Write a hello world program" },
]

prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=150)

📚 详细文档

模型信息

描述

CodeGemma是基于Gemma构建的轻量级开源代码模型集合。CodeGemma模型是文本到文本和文本到代码的仅解码器模型，有70亿预训练变体、70亿参数指令调优变体和20亿参数预训练变体三种版本，分别适用于代码补全、代码生成、代码对话和指令跟随等任务。

输入输出

• 输入：
  • 预训练模型变体：代码前缀和/或后缀用于代码补全和生成场景，或自然语言文本或提示。
  • 指令调优模型变体：自然语言文本或提示。
• 输出：
  • 预训练模型变体：中间填充代码补全、代码和自然语言。
  • 指令调优模型变体：代码和自然语言。

模型数据

训练数据集

以Gemma为基础模型，CodeGemma 2B和7B预训练变体在额外的5000亿个主要为英语的令牌上进行训练，这些数据来自公开可用的代码仓库、开源数学数据集和合成生成的代码。

训练数据处理

采用了以下数据预处理技术：

• FIM预训练：CodeGemma模型专注于中间填充（FIM）任务，支持PSM和SPM模式，FIM率为80%，PSM/SPM比例为50-50。
• 基于依赖图和单元测试的打包技术：为提高模型与实际应用的对齐，在项目/仓库级别构建训练示例，采用依赖图打包和单元测试词法打包技术。
• 文档拆分技术：开发了一种将文档拆分为前缀、中间和后缀的新技术，使后缀从更符合语法的自然点开始。
• 安全过滤：与Gemma类似，采用严格的安全过滤，包括过滤个人数据、CSAM过滤和其他基于内容质量和安全的过滤。

实现信息

硬件

CodeGemma使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练。

软件

使用JAX和ML Pathways进行训练。

评估信息

评估方法

在多个领域的学术基准测试中评估CodeGemma：

• 代码补全基准：HumanEval单行和多行填充。
• 代码生成基准：HumanEval、MBPP、BabelCode（C++、C#、Go、Java、JavaScript、Kotlin、Python、Rust）。
• 问答：BoolQ、PIQA、TriviaQA。
• 自然语言：ARC-Challenge、HellaSwag、MMLU、WinoGrande。
• 数学推理：GSM8K、MATH。

评估结果

编码基准测试

自然语言基准测试

伦理与安全

评估方法

评估方法包括结构化评估和内部红队测试，针对与伦理和安全相关的多个类别进行评估，包括内容安全和代表性危害的人工评估，以及对网络攻击能力的特定测试。

评估结果

伦理和安全评估结果在可接受的阈值内，符合内部政策，如儿童安全、内容安全、代表性危害、记忆和大规模危害等方面。

模型使用与限制

预期用途

CodeGemma模型具有广泛的应用场景，不同IT和PT模型的应用有所不同：

• 代码补全：PT模型可用于通过IDE扩展完成代码。
• 代码生成：IT模型可用于生成代码，有无IDE扩展均可。
• 代码对话：IT模型可驱动讨论代码的对话界面。
• 代码教育：IT模型支持交互式代码学习体验，辅助语法纠正或提供编码练习。

已知限制

大语言模型（LLM）受训练数据和技术本身的限制，具体限制可参考Gemma模型卡片。

伦理考虑与风险

大语言模型（LLM）的开发引发了一些伦理问题，在模型开发过程中已仔细考虑多个方面，具体细节可参考Gemma模型卡片。

优势

发布时，与同等规模的模型相比，该系列模型提供了高性能的专注于开源代码的大语言模型实现，专为负责任的AI开发而设计。在本文档描述的编码基准评估指标中，这些模型表现优于其他同等规模的开源模型。

🔧 技术细节

CodeGemma模型基于Gemma构建，采用了多种先进的技术和方法，包括FIM预训练、基于依赖图和单元测试的打包技术、文档拆分技术和安全过滤等，以提高模型的性能和安全性。

📄 许可证

本模型使用Gemma许可证。

模型链接

• CodeGemma
• 技术报告
• 负责任的生成式AI工具包
• 使用条款

作者

Google