ARIA 70B V2 GGUF

🚀 ARIA 70B V2 - GGUF

このリポジトリは、自然言語処理のための高性能なモデルであるARIA 70B V2のGGUF形式のモデルファイルを提供しています。GGUF形式は最新のモデル形式で、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

このモデルを使用するには、まず適切なクライアントやライブラリを選択し、モデルファイルをダウンロードします。以下のセクションで詳細な手順を説明します。

✨ 主な機能

• 多言語対応：複数の言語に対応しており、幅広い用途で使用できます。
• 高性能：70Bのパラメータを持つ大規模モデルで、高精度なテキスト生成が可能です。
• 多様なクライアントサポート：llama.cpp、text-generation-webuiなど、多くのクライアントやライブラリでサポートされています。

📦 インストール

GGUFファイルのダウンロード方法

手動でダウンロードする場合は、通常、リポジトリ全体をクローンする必要はありません。複数の量子化形式が提供されており、ほとんどのユーザーは単一のファイルを選択してダウンロードするだけです。

以下のクライアント/ライブラリは、利用可能なモデルのリストを提供し、自動的にモデルをダウンロードします。

• LM Studio
• LoLLMS Web UI
• Faraday.dev

text-generation-webui でのダウンロード方法

「Download Model」の下で、モデルリポジトリ TheBloke/ARIA-70B-V2-GGUF を入力し、その下にダウンロードする特定のファイル名（例：aria-70b-v2.Q4_K_M.gguf）を入力します。そして「Download」をクリックします。

コマンドラインでのダウンロード方法

huggingface-hub Pythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub

次に、以下のようなコマンドで、任意の個々のモデルファイルを高速で現在のディレクトリにダウンロードできます。

huggingface-cli download TheBloke/ARIA-70B-V2-GGUF aria-70b-v2.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

モデルの実行方法

llama.cpp での実行例

llama.cpp を d0cee0d 以降のコミットを使用していることを確認してください。

./main -ngl 32 -m aria-70b-v2.Q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "[INST] <<SYS>>\nYou are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.\n<</SYS>>\n{prompt}[/INST]"

• -ngl 32 をGPUにオフロードするレイヤー数に変更します。GPUアクセラレーションがない場合は削除します。
• -c 4096 を目的のシーケンス長に変更します。拡張シーケンスモデル（例：8K、16K、32K）の場合は、必要なRoPEスケーリングパラメータがGGUFファイルから読み取られ、llama.cppによって自動的に設定されます。
• チャットスタイルの会話を行いたい場合は、-p <PROMPT> 引数を -i -ins に置き換えます。

その他のパラメータとその使用方法については、the llama.cpp documentation を参照してください。

text-generation-webui での実行方法

詳細な手順は text-generation-webui/docs/llama.cpp.md を参照してください。

Pythonコードからの実行方法

llama-cpp-python または ctransformers ライブラリを使用して、PythonからGGUFモデルを使用できます。

ctransformersを使用してこのモデルをPythonコードで読み込む方法

パッケージのインストール

システムに応じて、以下のコマンドのいずれかを実行します。

#  GPUアクセラレーションなしの基本的なctransformers
pip install ctransformers
#  CUDA GPUアクセラレーション付き
pip install ctransformers[cuda]
#  AMD ROCm GPUアクセラレーション付き (Linuxのみ)
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
#  macOSシステムのみのMetal GPUアクセラレーション付き
CT_METAL=1 pip install ctransformers --no-binary ctransformers

📚 詳細ドキュメント

モデル情報

プロンプトテンプレート

[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>
{prompt}[/INST]

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。GGMLの代替となるもので、現在はllama.cppではGGMLがサポートされなくなっています。

以下は、GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた、完全な機能を持つWeb UIです。特にストーリーテリングに適しています。
• LM Studio、WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた優れたWeb UIで、簡単なモデル選択のための完全なモデルライブラリも含まれています。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• 複数の量子化パラメータオプションを持つ、GPU推論用のGPTQモデル
• CPU+GPU推論用の2、3、4、5、6、および8ビットのGGUFモデル
• GPU推論およびさらなる変換用の、Faradaylabの元の量子化されていないfp16モデル（pytorch形式）

互換性

これらの量子化されたGGUFv2ファイルは、2023年8月27日以降のllama.cpp（コミット d0cee0d 以降）と互換性があります。

また、多くのサードパーティのUIやライブラリとも互換性があります。詳細はこのREADMEの先頭のリストを参照してください。

量子化方法の説明

提供されるファイル

注意：上記のRAM数値は、GPUオフロードがないことを前提としています。レイヤーがGPUにオフロードされると、これによりRAM使用量が減少し、代わりにVRAMが使用されます。

Q6_KとQ8_0ファイルは分割されており、結合が必要です

注意：HFは50GBを超えるファイルのアップロードをサポートしていません。そのため、Q6_KとQ8_0ファイルは分割ファイルとしてアップロードされています。

cat aria-70b-v2.Q6_K.gguf-split-* > aria-70b-v2.Q6_K.gguf && rm aria-70b-v2.Q6_K.gguf-split-*
cat aria-70b-v2.Q8_0.gguf-split-* > aria-70b-v2.Q8_0.gguf && rm aria-70b-v2.Q8_0.gguf-split-*

COPY /B aria-70b-v2.Q6_K.gguf-split-a + aria-70b-v2.Q6_K.gguf-split-b aria-70b-v2.Q6_K.gguf
del aria-70b-v2.Q6_K.gguf-split-a aria-70b-v2.Q6_K.gguf-split-b

COPY /B aria-70b-v2.Q8_0.gguf-split-a + aria-70b-v2.Q8_0.gguf-split-b aria-70b-v2.Q8_0.gguf
del aria-70b-v2.Q8_0.gguf-split-a aria-70b-v2.Q8_0.gguf-split-b

📄 ライセンス

このモデルはllama2ライセンスの下で提供されています。