Chinese Llama 2 7b

🚀 中文LLaMA-2-7B

這是完整的中文LLaMA-2-7B模型，可直接加載進行推理和全參數訓練。

✨ 主要特性

相關模型

• 長上下文基礎模型
  • 中文LLaMA-2-7B-16K（完整模型）
  • 中文LLaMA-2-LoRA-7B-16K（LoRA模型）
  • 中文LLaMA-2-13B-16K（完整模型）
  • 中文LLaMA-2-LoRA-13B-16K（LoRA模型）
• 基礎模型
  • 中文LLaMA-2-7B（完整模型）
  • 中文LLaMA-2-LoRA-7B（LoRA模型）
  • 中文LLaMA-2-13B（完整模型）
  • 中文LLaMA-2-LoRA-13B（LoRA模型）
• 指令/對話模型
  • 中文Alpaca-2-7B（完整模型）
  • 中文Alpaca-2-LoRA-7B（LoRA模型）
  • 中文Alpaca-2-13B（完整模型）
  • 中文Alpaca-2-LoRA-13B（LoRA模型）

項目介紹

本項目基於Meta發佈的Llama-2，是中文LLaMA & Alpaca大語言模型項目的第二代。我們開源了中文LLaMA-2（基礎模型）和Alpaca-2（指令跟隨模型）。這些模型在原有的Llama-2基礎上進行了中文詞表的擴展和優化。我們使用大規模中文數據進行增量預訓練，進一步提升了對中文語言的基礎語義理解，與第一代模型相比，性能有了顯著提升。相關模型支持4K上下文，使用NTK方法可擴展至18K+。

本項目的主要內容包括：

• 🚀 在Llama-2基礎上新增擴展中文詞表，開源中文LLaMA-2和Alpaca-2大語言模型。
• 🚀 開源預訓練和指令微調（SFT）腳本，方便用戶在自己的數據上進行進一步微調。
• 🚀 可在個人電腦的CPU/GPU上快速部署和體驗量化大語言模型。
• 🚀 支持🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLM等LLaMA生態系統。

詳情請參考https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/。

📄 許可證

本項目採用Apache-2.0許可證。