Minicpm 2B 128k

🚀 MiniCPM-2B-128k

MiniCPMは、ModelBest Inc.とTsinghuaNLPによって開発されたエンドサイズの大規模言語モデルで、埋め込みを除いてわずか24億（2.4B）のパラメータを持ちます。MiniCPM-2B-128kは、MiniCPM-2Bをベースにした長文脈拡張の試みで、30億パラメータ未満の最初の長文脈（>=128k）モデルです。以前のバージョンと比較した改善点は以下の通りです。

• 128kのコンテキストをサポートし、総合的な長文評価InfiniteBenchで70億パラメータ以下のモデルで最高のスコアを達成しますが、4k以内のコンテキストでは性能が低下します。
• コミュニティ開発者の便宜のため、モデルはアライメント時に{}指令テンプレートをchatml形式（user\n{}\nassistant\n）に更新しました。これにより、vllm openai互換サーバーモードでのデプロイと使用が容易になります。
• 並列メカニズムの要件により、tie_embeddingを削除し、語彙を127,660に拡張しました。

詳細については、GitHubリポジトリとブログを参照してください。

🚀 クイックスタート

MiniCPMは、面壁と清華大学自然言語処理研究室が共同でオープンソース化したシリーズのエンドユーザー向け大規模言語モデルです。メインの言語モデルであるMiniCPM-2Bは、埋め込みを除いてわずか24億（2.4B）のパラメータを持っています。MiniCPM-2B-128kは、MiniCPM-2Bをベースにした長文脈拡張の試みで、30億パラメータ未満の最初の長文脈モデルです。

✨ 主な機能

• 長文脈サポート：128kのコンテキストをサポートし、総合的な長文評価InfiniteBenchで70億パラメータ以下のモデルで最高のスコアを達成します。
• 指令テンプレート更新：アライメント時に{}指令テンプレートをchatml形式（user\n{}\nassistant\n）に更新し、vllm openai互換サーバーモードでのデプロイと使用を容易にします。
• 語彙拡張：並列メカニズムの要件により、tie_embeddingを削除し、語彙を127,660に拡張しました。

📚 ドキュメント

評価結果

⚠️ 重要提示

Huggingfaceでの生成品質はvLLMよりもわずかに低く、速度も大幅に遅いことがわかりました。したがって、ベンチマークテストにはvLLMの使用をおすすめします。

局限性

• モデル規模の制限により、モデルは幻覚的な問題を引き起こす可能性があります。DPOモデルはより長い応答を生成する傾向があるため、幻覚が発生しやすくなります。私たちは、MiniCPMモデルの反復改善を続けます。
• 学術研究目的でのモデルの汎用性を確保するため、モデルに対して何らかのアイデンティティトレーニングを行っていません。同時に、ShareGPTのオープンソースコーパスをトレーニングデータの一部として使用しているため、モデルはGPTシリーズのモデルと同様のアイデンティティ情報を出力する可能性があります。
• モデル規模の制限により、モデルの出力はプロンプトワードの影響を大きく受け、複数回の試行で結果が不一致になる可能性があります。
• モデル容量の制限により、モデルの知識記憶は正確ではありません。将来的には、RAG方法を組み合わせてモデルの知識記憶能力を強化する予定です。

💻 使用例

基本的な使用法

# 安装transformers>=4.36.0以及accelerate后，运行以下代码
# 注意：需要在from_pretrained中明确指明模型的数据类型，否则会引起较大计算误差
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)

path = 'openbmb/MiniCPM-2B-128k'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

responds, history = model.chat(tokenizer, "山东省最高的山是哪座山, 它比黄山高还是矮？差距多少？", temperature=0.8, top_p=0.8)
print(responds)