Chinese Llama 2 1.3b

🚀 Chinese-LLaMA-2-1.3B

これは完全なChinese-LLaMA-2-1.3Bモデルで、直接ロードして推論や全パラメータのトレーニングを行うことができます。

関連モデル👇

• 長文脈ベースモデル (16K)
  • Chinese-LLaMA-2-7B-16K (完全モデル)
  • Chinese-LLaMA-2-LoRA-7B-16K (LoRAモデル)
  • Chinese-LLaMA-2-13B-16K (完全モデル)
  • Chinese-LLaMA-2-LoRA-13B-16K (LoRAモデル)
• 長文脈命令/チャットモデル
  • Chinese-Alpaca-2-7B-16K (完全モデル)
  • Chinese-Alpaca-2-LoRA-7B-16K (LoRAモデル)
  • Chinese-Alpaca-2-13B-16K (完全モデル)
  • Chinese-Alpaca-2-LoRA-13B-16K (LoRAモデル)
• ベースモデル
  • Chinese-LLaMA-2-7B (完全モデル)
  • Chinese-LLaMA-2-LoRA-7B (LoRAモデル)
  • Chinese-LLaMA-2-13B (完全モデル)
  • Chinese-LLaMA-2-LoRA-13B (LoRAモデル)
• 命令/チャットモデル
  • Chinese-Alpaca-2-7B (完全モデル)
  • Chinese-Alpaca-2-LoRA-7B (LoRAモデル)
  • Chinese-Alpaca-2-13B (完全モデル)
  • Chinese-Alpaca-2-LoRA-13B (LoRAモデル)

🚀 クイックスタート

このプロジェクトは、MetaがリリースしたLlama-2に基づいており、中国語版LLaMAとAlpacaの大規模言語モデルプロジェクトの第2世代です。我々は、Chinese LLaMA-2（基礎モデル）とAlpaca-2（命令追従モデル）をオープンソースで公開しています。これらのモデルは、元のLlama-2に比べて中国語の語彙が拡張され、最適化されています。大規模な中国語データを用いた増分事前学習を行い、中国語の基本的な意味理解をさらに向上させ、第1世代のモデルと比較して大幅なパフォーマンス向上を達成しています。関連するモデルは4Kのコンテキストをサポートし、NTK法を用いることで18K以上に拡張することができます。

このプロジェクトの主な内容は以下の通りです。

• 🚀 Llama-2を超える新しい拡張中国語語彙を持ち、Chinese LLaMA-2とAlpaca-2の大規模言語モデルをオープンソースで公開。
• 🚀 事前学習と命令微調整（SFT）のスクリプトをオープンソースで公開し、ユーザーのデータでさらに微調整できる。
• 🚀 パーソナルPCのCPU/GPUで量子化された大規模言語モデルを迅速にデプロイし、体験できる。
• 🚀 🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLMなどのLLaMAエコシステムをサポート。

詳細はhttps://github.com/ymcui/Chinese-LLaMA-Alpaca-2/を参照してください。

✨ 主な機能

• 新しい拡張中国語語彙を持ち、中国語の基本的な意味理解が向上したモデルを提供。
• 事前学習と命令微調整のスクリプトを公開し、ユーザーが独自のデータでモデルを微調整できる。
• 量子化されたモデルをCPU/GPUで迅速にデプロイできる。
• 複数のLLaMAエコシステムをサポートし、柔軟な利用が可能。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。