Chinese Llama 2 13b 16k

🚀 中文LLaMA-2-12B-16K

這是完整的中文LLaMA-2-13B-16K（上下文大小為16K）模型，可直接加載進行推理和全參數訓練。

✨ 主要特性

相關模型

長上下文基礎模型（16K）

• 中文LLaMA-2-7B-16K（完整模型）
• 中文LLaMA-2-LoRA-7B-16K（LoRA模型）
• 中文LLaMA-2-13B-16K（完整模型）
• 中文LLaMA-2-LoRA-13B-16K（LoRA模型）

長上下文指令/對話模型

• 中文Alpaca-2-7B-16K（完整模型）
• 中文Alpaca-2-LoRA-7B-16K（LoRA模型）
• 中文Alpaca-2-13B-16K（完整模型）
• 中文Alpaca-2-LoRA-13B-16K（LoRA模型）

基礎模型

• 中文LLaMA-2-7B（完整模型）
• 中文LLaMA-2-LoRA-7B（LoRA模型）
• 中文LLaMA-2-13B（完整模型）
• 中文LLaMA-2-LoRA-13B（LoRA模型）

指令/對話模型

• 中文Alpaca-2-7B（完整模型）
• 中文Alpaca-2-LoRA-7B（LoRA模型）
• 中文Alpaca-2-13B（完整模型）
• 中文Alpaca-2-LoRA-13B（LoRA模型）

中文LLaMA-Alpaca-2項目介紹

本項目基於Meta發佈的Llama-2，是中文LLaMA和Alpaca大語言模型項目的第二代。我們開源了中文LLaMA-2（基礎模型）和Alpaca-2（指令跟隨模型）。這些模型在原有的Llama-2基礎上，對中文詞彙進行了擴展和優化。我們使用大規模中文數據進行增量預訓練，進一步提升了模型對中文語言的基礎語義理解能力，與第一代模型相比，性能有顯著提升。相關模型支持4K上下文，使用NTK方法可擴展至18K+。

本項目的主要內容包括：

• 🔥 基於Llama-2擴展了新的中文詞彙表，開源了中文LLaMA-2和Alpaca-2大語言模型。
• 🔥 開源了預訓練和指令微調（SFT）腳本，方便用戶在自己的數據上進行進一步調優。
• 🔥 可在個人電腦的CPU/GPU上快速部署和體驗量化大語言模型。
• 🔥 支持LLaMA生態系統，如🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLM等。

詳情請參考https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/。

📄 許可證

本項目採用Apache-2.0許可證。