Minicpm3 4B

🚀 MiniCPM3-4B

MiniCPM3-4B 是 MiniCPM 系列的第三代模型。其整體性能超越了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125，可與許多近期發佈的 7B - 9B 模型相媲美。

MiniCPM 倉庫 | MiniCPM 論文 | MiniCPM-V 倉庫 | 加入我們的 Discord 和 微信 社群

🚀 快速開始

模型簡介

MiniCPM3-4B 是 MiniCPM 系列的第三代模型。與 MiniCPM1.0/MiniCPM2.0 相比，MiniCPM3-4B 具備更強大、更多樣的能力，支持函數調用和代碼解釋器。它擁有 32k 的上下文窗口，藉助 LLMxMapReduce，理論上可以處理無限上下文，而無需大量內存。

推理示例

使用 Transformers 進行推理

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

path = "openbmb/MiniCPM3-4B"
device = "cuda"

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map=device, trust_remote_code=True)

messages = [
    {"role": "user", "content": "推薦5個北京的景點。"},
]
model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

model_outputs = model.generate(
    model_inputs,
    max_new_tokens=1024,
    top_p=0.7,
    temperature=0.7
)

output_token_ids = [
    model_outputs[i][len(model_inputs[i]):] for i in range(len(model_inputs))
]

responses = tokenizer.batch_decode(output_token_ids, skip_special_tokens=True)[0]
print(responses)

使用 vLLM 進行推理

首先，你需要安裝我們分叉的 vLLM 版本：

pip install git+https://github.com/OpenBMB/vllm.git@minicpm3

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "openbmb/MiniCPM3-4B"
prompt = [{"role": "user", "content": "推薦5個北京的景點。"}]

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
input_text = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)

llm = LLM(
    model=model_name,
    trust_remote_code=True,
    tensor_parallel_size=1
)
sampling_params = SamplingParams(top_p=0.7, temperature=0.7, max_tokens=1024, repetition_penalty=1.02)

outputs = llm.generate(prompts=input_text, sampling_params=sampling_params)

print(outputs[0].outputs[0].text)

✨ 主要特性

• 性能卓越：整體性能超越 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125，可與許多近期的 7B - 9B 模型相媲美。
• 功能豐富：支持函數調用和代碼解釋器，具備更強大、更多樣的能力。
• 上下文處理能力強：擁有 32k 的上下文窗口，藉助 LLMxMapReduce，理論上可以處理無限上下文，無需大量內存。

📚 詳細文檔

評估結果

聲明

• 作為一個語言模型，MiniCPM3-4B 通過學習大量文本生成內容。
• 然而，它不具備理解或表達個人觀點或價值判斷的能力。
• MiniCPM3-4B 生成的任何內容均不代表模型開發者的觀點或立場。
• 因此，在使用 MiniCPM3-4B 生成的內容時，用戶應自行承擔評估和驗證的全部責任。

📄 許可證

• 本倉庫採用 Apache-2.0 許可證發佈。
• MiniCPM3-4B 模型權重的使用必須嚴格遵循 MiniCPM 模型許可證。
• MiniCPM3-4B 的模型和權重完全免費用於學術研究，填寫 "問卷" 進行註冊後，也可免費用於商業用途。

📚 引用

@article{hu2024minicpm,
  title={MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies},
  author={Hu, Shengding and Tu, Yuge and Han, Xu and He, Chaoqun and Cui, Ganqu and Long, Xiang and Zheng, Zhi and Fang, Yewei and Huang, Yuxiang and Zhao, Weilin and others},
  journal={arXiv preprint arXiv:2404.06395},
  year={2024}
}