Chinese Llama 2 13b 16k

🚀 中文LLaMA-2-12B-16K

这是完整的中文LLaMA-2-13B-16K（上下文大小为16K）模型，可直接加载进行推理和全参数训练。

✨ 主要特性

相关模型

长上下文基础模型（16K）

• 中文LLaMA-2-7B-16K（完整模型）
• 中文LLaMA-2-LoRA-7B-16K（LoRA模型）
• 中文LLaMA-2-13B-16K（完整模型）
• 中文LLaMA-2-LoRA-13B-16K（LoRA模型）

长上下文指令/对话模型

• 中文Alpaca-2-7B-16K（完整模型）
• 中文Alpaca-2-LoRA-7B-16K（LoRA模型）
• 中文Alpaca-2-13B-16K（完整模型）
• 中文Alpaca-2-LoRA-13B-16K（LoRA模型）

基础模型

• 中文LLaMA-2-7B（完整模型）
• 中文LLaMA-2-LoRA-7B（LoRA模型）
• 中文LLaMA-2-13B（完整模型）
• 中文LLaMA-2-LoRA-13B（LoRA模型）

指令/对话模型

• 中文Alpaca-2-7B（完整模型）
• 中文Alpaca-2-LoRA-7B（LoRA模型）
• 中文Alpaca-2-13B（完整模型）
• 中文Alpaca-2-LoRA-13B（LoRA模型）

中文LLaMA-Alpaca-2项目介绍

本项目基于Meta发布的Llama-2，是中文LLaMA和Alpaca大语言模型项目的第二代。我们开源了中文LLaMA-2（基础模型）和Alpaca-2（指令跟随模型）。这些模型在原有的Llama-2基础上，对中文词汇进行了扩展和优化。我们使用大规模中文数据进行增量预训练，进一步提升了模型对中文语言的基础语义理解能力，与第一代模型相比，性能有显著提升。相关模型支持4K上下文，使用NTK方法可扩展至18K+。

本项目的主要内容包括：

• 🔥 基于Llama-2扩展了新的中文词汇表，开源了中文LLaMA-2和Alpaca-2大语言模型。
• 🔥 开源了预训练和指令微调（SFT）脚本，方便用户在自己的数据上进行进一步调优。
• 🔥 可在个人电脑的CPU/GPU上快速部署和体验量化大语言模型。
• 🔥 支持LLaMA生态系统，如🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLM等。

详情请参考https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/。

📄 许可证

本项目采用Apache-2.0许可证。