Deepseek Coder V2 Lite Base AWQ

🚀 DeepSeek-Coder-V2：突破代码智能领域闭源模型的壁垒

DeepSeek-Coder-V2-Lite-Base 模型的 AWQ 量化版本。本项目推出的 DeepSeek-Coder-V2 是一个开源的混合专家（MoE）代码语言模型，在特定代码任务中可实现与 GPT4-Turbo 相媲美的性能。它基于高质量、多源语料库的 6 万亿个标记对 DeepSeek-Coder-V2-Base 进行进一步预训练，大幅提升了编码和数学推理能力，同时在通用语言任务中保持了相当的性能。

API 平台 | 使用方法 | 许可证 |

论文链接üëÅÔ∏è

🚀 快速开始

模型介绍

我们推出了 DeepSeek-Coder-V2，这是一个开源的混合专家（MoE）代码语言模型，在特定代码任务中可实现与 GPT4-Turbo 相媲美的性能。具体而言，DeepSeek-Coder-V2 是在 DeepSeek-Coder-V2-Base 的基础上，使用来自高质量、多源语料库的 6 万亿个标记进行进一步预训练得到的。通过这种持续的预训练，DeepSeek-Coder-V2 大幅提升了 DeepSeek-Coder-V2-Base 的编码和数学推理能力，同时在通用语言任务中保持了相当的性能。与 DeepSeek-Coder 相比，DeepSeek-Coder-V2 在与代码相关的任务以及推理和通用能力的各个方面都取得了显著进展。此外，DeepSeek-Coder-V2 支持的编程语言从 86 种扩展到 338 种，上下文长度从 16K 扩展到 128K。

在标准基准评估中，DeepSeek-Coder-V2 在编码和数学基准测试中比 GPT4-Turbo、Claude 3 Opus 和 Gemini 1.5 Pro 等闭源模型表现更优。支持的编程语言列表可在论文中找到。

✨ 主要特性

• 性能卓越：在标准基准评估中，DeepSeek-Coder-V2 在编码和数学基准测试中比 GPT4-Turbo、Claude 3 Opus 和 Gemini 1.5 Pro 等闭源模型表现更优。
• 能力提升：大幅提升了编码和数学推理能力，同时在通用语言任务中保持了相当的性能。
• 语言扩展：支持的编程语言从 86 种扩展到 338 种。
• 长度扩展：上下文长度从 16K 扩展到 128K。

📦 模型下载

我们基于 DeepSeekMoE 框架发布了参数为 16B 和 236B 的 DeepSeek-Coder-V2，其激活参数仅为 2.4B 和 21B，包括基础模型和指令模型。

💻 使用示例

在线体验

你可以在 DeepSeek 的官方网站上与 DeepSeek-Coder-V2 进行聊天：coder.deepseek.com

本地运行

这里我们提供一些如何使用 DeepSeek-Coder-V2-Lite 模型的示例。如果你想使用 BF16 格式的 DeepSeek-Coder-V2 进行推理，则需要 80GB*8 的 GPU。

使用 Huggingface 的 Transformers 进行推理

你可以直接使用 Huggingface 的 Transformers 进行模型推理。

代码补全

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
input_text = "#write a quick sort algorithm"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

代码插入

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
input_text = """<｜fim▁begin｜>def quick_sort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[0]
    left = []
    right = []
<｜fim▁hole｜>
        if arr[i] < pivot:
            left.append(arr[i])
        else:
            right.append(arr[i])
    return quick_sort(left) + [pivot] + quick_sort(right)<｜fim▁end｜>"""
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True)[len(input_text):])

聊天补全

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
# tokenizer.eos_token_id is the id of <|EOT|> token
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

完整的聊天模板可以在 Huggingface 模型仓库中的 tokenizer_config.json 中找到。

聊天模板示例如下：

<｜begin▁of▁sentence｜>User: {user_message_1}

Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

Assistant:

你还可以添加一个可选的系统消息：

<｜begin▁of▁sentence｜>{system_message}

User: {user_message_1}

Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

Assistant:

使用 vLLM 进行推理（推荐）

要使用 vLLM 进行模型推理，请将此拉取请求合并到你的 vLLM 代码库中：https://github.com/vllm-project/vllm/pull/4650。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

max_model_len, tp_size = 8192, 1
model_name = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])

messages_list = [
    [{"role": "user", "content": "Who are you?"}],
    [{"role": "user", "content": "write a quick sort algorithm in python."}],
    [{"role": "user", "content": "Write a piece of quicksort code in C++."}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

📚 详细文档

API 平台

我们还在 DeepSeek 平台上提供了与 OpenAI 兼容的 API：platform.deepseek.com。注册即可获得数百万个免费标记。你还可以按需付费，价格极具竞争力。

📄 许可证

本代码仓库遵循 MIT 许可证。DeepSeek-Coder-V2 基础/指令模型的使用需遵循 模型许可证。DeepSeek-Coder-V2 系列（包括基础模型和指令模型）支持商业使用。

📞 联系我们

如果您有任何问题，请提出问题或通过 service@deepseek.com 与我们联系。