Minicpm 2B 128k

🚀 MiniCPM-2B-128k

MiniCPM 是面壁与清华大学自然语言处理实验室共同开源的系列端侧语言大模型，主体语言模型 MiniCPM-2B 仅有 24 亿（2.4B）的非词嵌入参数量。MiniCPM-2B-128k 是一次基于 MiniCPM-2B 的长度扩展尝试，也是第一个 3B 以下的长文本模型。它解决了长文本处理的难题，为长文本场景提供了高效的解决方案。

🚀 快速开始

MiniCPM 是面壁与清华大学自然语言处理实验室共同开源的系列端侧语言大模型，主体语言模型 MiniCPM-2B 仅有 24 亿（2.4B）的非词嵌入参数量。MiniCPM-2B-128k 是一次基于 MiniCPM-2B 的长度扩展尝试，也是第一个 3B 以下的长文本模型。

✨ 主要特性

• 长上下文支持：支持 128k 上下文，在综合长文本评测 InfiniteBench 上取得 7B 以下最佳成绩，但在 4k 以内性能有下降。
• 指令模板更新：为方便社区开发者使用，该模型在对齐时将 <用户>{} 指令模板更新为了 chatml 格式（<|im_start|>user\n{}<|im_end|>\n<|im_start|>assistant\n），这也有助于用户使用 vllm openai compatible server 模式部署和使用。
• 词表扩展：由于并行机制需要，去除了 tie_embedding，并扩展词表到 127660。

📚 详细文档

评测结果

⚠️ 重要提示

我们发现使用 Huggingface 生成质量略差于 vLLM，因此推荐使用 vLLM 进行测试。

局限性

• 受限于模型规模，模型可能出现幻觉性问题。其中由于 DPO 模型生成的回复内容更长，更容易出现幻觉。我们也将持续进行 MiniCPM 模型的迭代改进。
• 为了保证在学术研究用途上模型的通用性，我们未对模型进行任何身份认同训练。同时由于我们用 ShareGPT 开源语料作为部分训练数据，模型可能会输出类似 GPT 系列模型的身份认同信息。
• 受限于模型规模，模型的输出受到提示词（prompt）的影响较大，可能多次尝试产生不一致的结果。
• 受限于模型容量，模型的知识记忆较不准确，后续我们将结合 RAG 方法来增强模型的知识记忆能力。

💻 使用示例

基础用法

# 安装transformers>=4.36.0以及accelerate后，运行以下代码
# 注意：需要在from_pretrained中明确指明模型的数据类型，否则会引起较大计算误差
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)

path = 'openbmb/MiniCPM-2B-128k'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

responds, history = model.chat(tokenizer, "山东省最高的山是哪座山, 它比黄山高还是矮？差距多少？", temperature=0.8, top_p=0.8)
print(responds)