Chinese Llama 2 7b 16k

🚀 Chinese-LLaMA-2-7B-16K

これは完全なChinese-LLaMA-2-7B-16K（コンテキストサイズ16K）モデルで、直接推論や全パラメータのトレーニングに使用できます。

🚀 クイックスタート

関連モデル👇

• 長文脈ベースモデル (16K)
  • Chinese-LLaMA-2-7B-16K (完全モデル)
  • Chinese-LLaMA-2-LoRA-7B-16K (LoRAモデル)
  • Chinese-LLaMA-2-13B-16K (完全モデル)
  • Chinese-LLaMA-2-LoRA-13B-16K (LoRAモデル)
• 長文脈命令/チャットモデル
  • Chinese-Alpaca-2-7B-16K (完全モデル)
  • Chinese-Alpaca-2-LoRA-7B-16K (LoRAモデル)
  • Chinese-Alpaca-2-13B-16K (完全モデル)
  • Chinese-Alpaca-2-LoRA-13B-16K (LoRAモデル)
• ベースモデル
  • Chinese-LLaMA-2-7B (完全モデル)
  • Chinese-LLaMA-2-LoRA-7B (LoRAモデル)
  • Chinese-LLaMA-2-13B (完全モデル)
  • Chinese-LLaMA-2-LoRA-13B (LoRAモデル)
• 命令/チャットモデル
  • Chinese-Alpaca-2-7B (完全モデル)
  • Chinese-Alpaca-2-LoRA-7B (LoRAモデル)
  • Chinese-Alpaca-2-13B (完全モデル)
  • Chinese-Alpaca-2-LoRA-13B (LoRAモデル)

✨ 主な機能

Chinese-LLaMA-Alpaca-2の説明

このプロジェクトはMetaがリリースしたLlama-2に基づいており、中国語版LLaMAとAlpacaの大規模言語モデル（LLM）プロジェクトの第2世代です。我々はChinese-LLaMA-2（基礎モデル）とAlpaca-2（命令追従モデル）をオープンソースで公開しています。これらのモデルは、元のLlama-2に対して中国語の語彙を拡張・最適化しています。大規模な中国語データを用いて増分事前学習を行い、中国語の基本的な意味理解をさらに向上させ、第1世代のモデルと比較して大幅な性能向上を実現しています。関連モデルは4Kのコンテキストをサポートし、NTK法を用いることで18K以上に拡張できます。

このプロジェクトの主な内容は以下の通りです。

• 🚀 Llama-2を超える新しい拡張中国語語彙で、Chinese LLaMA-2とAlpaca-2のLLMをオープンソース化
• 🚀 事前学習と命令微調整（SFT）のスクリプトをオープンソース化し、ユーザーデータでのさらなる微調整を可能に
• 🚀 パソコンのCPU/GPU上で量子化されたLLMを迅速にデプロイし、体験できる
• 🚀 🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLMなどのLLaMAエコシステムをサポート

詳細はhttps://github.com/ymcui/Chinese-LLaMA-Alpaca-2/を参照してください。

📄 ライセンス

Apache-2.0