Chinese Llama 2 7b 16k

🚀 中文LLaMA-2-7B-16K

這是完整的中文LLaMA-2-7B-16K（上下文大小為16K）模型，可直接加載進行推理和全參數訓練。

🚀 快速開始

相關模型👇

長上下文基礎模型（16K）

• 中文LLaMA-2-7B-16K（完整模型）
• 中文LLaMA-2-LoRA-7B-16K（LoRA模型）
• 中文LLaMA-2-13B-16K（完整模型）
• 中文LLaMA-2-LoRA-13B-16K（LoRA模型）

長上下文指令/對話模型

• 中文Alpaca-2-7B-16K（完整模型）
• 中文Alpaca-2-LoRA-7B-16K（LoRA模型）
• 中文Alpaca-2-13B-16K（完整模型）
• 中文Alpaca-2-LoRA-13B-16K（LoRA模型）

基礎模型

• 中文LLaMA-2-7B（完整模型）
• 中文LLaMA-2-LoRA-7B（LoRA模型）
• 中文LLaMA-2-13B（完整模型）
• 中文LLaMA-2-LoRA-13B（LoRA模型）

指令/對話模型

• 中文Alpaca-2-7B（完整模型）
• 中文Alpaca-2-LoRA-7B（LoRA模型）
• 中文Alpaca-2-13B（完整模型）
• 中文Alpaca-2-LoRA-13B（LoRA模型）

✨ 主要特性

本項目基於Meta發佈的Llama-2，是中文LLaMA & Alpaca大語言模型項目的第二代。我們開源了中文LLaMA-2（基礎模型）和Alpaca-2（指令跟隨模型）。這些模型在原Llama-2的基礎上進行了中文詞表的擴展和優化。我們使用大規模中文數據進行增量預訓練，進一步提升了對中文語言的基礎語義理解，與第一代模型相比性能有顯著提升。相關模型支持4K上下文，使用NTK方法可擴展至18K+。

本項目的主要內容包括：

• 🚀 在Llama-2基礎上新增擴展中文詞表，開源中文LLaMA-2和Alpaca-2大語言模型。
• 🚀 開源預訓練和指令微調（SFT）腳本，方便在用戶數據上進行進一步微調。
• 🚀 可在個人電腦的CPU/GPU上快速部署和體驗量化大語言模型。
• 🚀 支持🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLM等LLaMA生態系統。

詳情請參考https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/。

📄 許可證

本項目採用Apache-2.0許可證。