Chinese Llama 2 13b 16k

🚀 中国語LLaMA-2-12B-16K

これは完全な中国語LLaMA-2-13B-16K（コンテキストサイズが16K）モデルで、直接ロードして推論や全パラメータのトレーニングを行うことができます。

✨ 主な機能

関連モデル

長コンテキストベースモデル（16K）

• 中国語LLaMA-2-7B-16K（完全モデル）
• 中国語LLaMA-2-LoRA-7B-16K（LoRAモデル）
• 中国語LLaMA-2-13B-16K（完全モデル）
• 中国語LLaMA-2-LoRA-13B-16K（LoRAモデル）

長コンテキスト命令/対話モデル

• 中国語Alpaca-2-7B-16K（完全モデル）
• 中国語Alpaca-2-LoRA-7B-16K（LoRAモデル）
• 中国語Alpaca-2-13B-16K（完全モデル）
• 中国語Alpaca-2-LoRA-13B-16K（LoRAモデル）

ベースモデル

• 中国語LLaMA-2-7B（完全モデル）
• 中国語LLaMA-2-LoRA-7B（LoRAモデル）
• 中国語LLaMA-2-13B（完全モデル）
• 中国語LLaMA-2-LoRA-13B（LoRAモデル）

命令/対話モデル

• 中国語Alpaca-2-7B（完全モデル）
• 中国語Alpaca-2-LoRA-7B（LoRAモデル）
• 中国語Alpaca-2-13B（完全モデル）
• 中国語Alpaca-2-LoRA-13B（LoRAモデル）

中国語LLaMA-Alpaca-2プロジェクトの紹介

本プロジェクトはMetaが公開したLlama-2に基づいており、中国語LLaMAとAlpacaの大規模言語モデルプロジェクトの第2世代です。我々は中国語LLaMA-2（ベースモデル）とAlpaca-2（命令追従モデル）をオープンソースで公開しています。これらのモデルは元のLlama-2に加えて、中国語の語彙を拡張し最適化しています。大規模な中国語データを使用して増分事前学習を行い、モデルの中国語に対する基本的な意味理解能力をさらに向上させ、第1世代のモデルと比較して性能が大幅に向上しています。関連モデルは4Kのコンテキストをサポートし、NTK方法を使用することで18K以上に拡張できます。

本プロジェクトの主な内容は以下の通りです。

• 🔥 Llama-2に基づいて新しい中国語語彙表を拡張し、中国語LLaMA-2とAlpaca-2の大規模言語モデルをオープンソースで公開しました。
• 🔥 事前学習と命令微調整（SFT）のスクリプトをオープンソースで公開し、ユーザーが自分のデータでさらに調整できるようにします。
• 🔥 個人用コンピュータのCPU/GPUで量子化大規模言語モデルを迅速にデプロイして体験できます。
• 🔥 LLaMAエコシステムをサポートしており、🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLMなどが利用可能です。

詳細はhttps://github.com/ymcui/Chinese-LLaMA-Alpaca-2/を参照してください。

📄 ライセンス

本プロジェクトはApache-2.0ライセンスを採用しています。