chinese-llama-2-7bオープンソース中国語大規模言語モデル - 中国語理解を強化し、あらゆる種類の質問に容易に対応

ホーム

Chinese Llama 2 7b

hflによって開発

Chinese-LLaMA-2-7BはMetaが公開したLlama-2モデルの中国語拡張版で、中国語の語彙を最適化し、追加の事前学習を行い、中国語の理解能力を向上させました。

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:Apache-2.0 #中国語最適化 #長文対応 #命令微調整

ダウンロード数 1,824

リリース時間 : 7/27/2023

モデル概要

これは完全版の中国語LLaMA-2-7Bモデルで、推論や全パラメータ訓練に直接ロードして使用できます。中国語と英語をサポートし、さまざまな自然言語処理タスクに適しています。

モデル特徴

中国語語彙拡張

オリジナルのLlama-2を基に中国語の語彙を拡張・最適化し、中国語処理能力を向上させました。

追加の事前学習

大規模な中国語データを使用して追加の事前学習を行い、中国語の基礎的な意味理解能力を大幅に向上させました。

長文対応

4Kのコンテキストをサポートし、NTKメソッドにより18K+まで拡張可能です。

エコシステム互換

🤗transformers、llama.cpp、text-generation-webuiなどのLLaMAエコシステムをサポートしています。

モデル能力

テキスト生成

中国語意味理解

命令追従

長文処理

使用事例

自然言語処理

中国語テキスト生成

高品質な中国語テキストコンテンツを生成します。

生成されたテキストは流暢で中国語の文法に準拠しています。

命令追従

ユーザーの命令に基づいて適切なテキスト応答を生成します。

ユーザーの命令を正確に理解し実行できます。

教育

言語学習支援

中国語または英語の学習を支援します。

高品質な言語学習教材を提供します。

🚀 Chinese-LLaMA-2-7B

これは完全なChinese-LLaMA-2-7Bモデルで、直接推論や全パラメータトレーニングに使用できます。

関連モデル👇

🚀 クイックスタート

このプロジェクトはMetaがリリースしたLlama-2に基づいており、中国語LLaMAとAlpacaの大規模言語モデルプロジェクトの第2世代です。我々はChinese-LLaMA-2（基礎モデル）とAlpaca-2（命令追従モデル）をオープンソース化しています。これらのモデルは、元のLlama-2に加えて中国語の語彙を拡張・最適化しています。大規模な中国語データを用いた増分事前学習を行い、中国語の基本的な意味理解をさらに向上させ、第1世代モデルと比較して性能が大幅に向上しています。関連モデルは4Kのコンテキストをサポートし、NTK法を用いることで18K以上に拡張できます。

このプロジェクトの主な内容は以下の通りです。

🚀 Llama-2を超える新しい拡張中国語語彙を持ち、Chinese LLaMA-2とAlpaca-2の大規模言語モデルをオープンソース化
🚀 事前学習と命令微調整（SFT）のスクリプトをオープンソース化し、ユーザーのデータでのさらなる微調整を可能に
🚀 パーソナルPCのCPU/GPU上で量子化された大規模言語モデルをすぐにデプロイして体験できる
🚀 🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLMなどのLLaMAエコシステムをサポート

詳細はhttps://github.com/ymcui/Chinese-LLaMA-Alpaca-2/を参照してください。