Mythalion 13B GGUF

🚀 Mythalion 13B - GGUF

このモデルは、テキスト生成タスクに特化した高性能な言語モデルです。PygmalionAIによって開発され、多様なデータセットで訓練されています。GGUF形式で提供されるこのモデルは、多くのクライアントやライブラリと互換性があり、様々な環境での利用が可能です。

🚀 クイックスタート

このセクションでは、Mythalion 13B - GGUFモデルの基本的な使い方を説明します。

モデルのダウンロード

モデルをダウンロードする方法はいくつかあります。以下にいくつかの例を示します。

LM Studio、LoLLMS Web UI、Faraday.devを使用する場合

これらのクライアント/ライブラリは、利用可能なモデルのリストを提供し、自動的にモデルをダウンロードします。

text-generation-webuiを使用する場合

1. Download Modelの下に、モデルのリポジトリ TheBloke/Mythalion-13B-GGUF を入力します。
2. その下に、ダウンロードする特定のファイル名（例：mythalion-13b.q4_K_M.gguf）を入力します。
3. Downloadをクリックします。

コマンドラインでのダウンロード

huggingface-hub Pythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub>=0.17.1

次に、以下のコマンドで任意のモデルファイルを高速でダウンロードできます。

huggingface-cli download TheBloke/Mythalion-13B-GGUF mythalion-13b.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

モデルの実行

llama.cppでの実行

以下のコマンドを使用して、llama.cpp でモデルを実行できます。

./main -ngl 32 -m mythalion-13b.q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{prompt}\n\n### Response:"

• -ngl 32 は、GPUにオフロードするレイヤー数を指定します。GPUアクセラレーションがない場合は削除してください。
• -c 4096 は、希望するシーケンス長を指定します。拡張シーケンスモデル（例：8K、16K、32K）の場合、必要なRoPEスケーリングパラメータはGGUFファイルから読み取られ、llama.cpp によって自動的に設定されます。
• チャットスタイルの会話を行いたい場合は、-p <PROMPT> 引数を -i -ins に置き換えてください。

text-generation-webuiでの実行

詳細な手順は、text-generation-webui/docs/llama.cpp.md を参照してください。

Pythonコードからの実行

llama-cpp-python または ctransformers ライブラリを使用して、PythonからGGUFモデルを使用できます。

ctransformersを使用してモデルをロードする

まず、パッケージをインストールします。

# GPUアクセラレーションなしの基本的なctransformers
pip install ctransformers>=0.2.24
# またはCUDA GPUアクセラレーション付き
pip install ctransformers[cuda]>=0.2.24
# またはROCm GPUアクセラレーション付き
CT_HIPBLAS=1 pip install ctransformers>=0.2.24 --no-binary ctransformers
# またはmacOSシステムのMetal GPUアクセラレーション付き
CT_METAL=1 pip install ctransformers>=0.2.24 --no-binary ctransformers

次に、以下のコードでモデルをロードします。

from ctransformers import AutoModelForCausalLM

# gpu_layersを、GPUにオフロードするレイヤー数に設定します。システムでGPUアクセラレーションが利用できない場合は0に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Mythalion-13B-GGUF", model_file="mythalion-13b.q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

✨ 主な機能

• 多様なデータセットでの訓練：PygmalionAI/PIPPA、Open-Orca/OpenOrca、Norquinal/claude_multiround_chat_30kなど、多様なデータセットで訓練されています。
• GGUF形式のサポート：GGUF形式で提供されるため、多くのクライアントやライブラリと互換性があります。
• 多様な量子化方法：Q2_K、Q3_K_S、Q4_K_Mなど、多様な量子化方法が提供されています。

📦 インストール

必要なライブラリのインストール

モデルを使用するために必要なライブラリをインストールします。

pip3 install huggingface-hub>=0.17.1

モデルのダウンロード

モデルをダウンロードするには、以下のコマンドを使用します。

huggingface-cli download TheBloke/Mythalion-13B-GGUF mythalion-13b.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

💻 使用例

基本的な使用法

from ctransformers import AutoModelForCausalLM

# gpu_layersを、GPUにオフロードするレイヤー数に設定します。システムでGPUアクセラレーションが利用できない場合は0に設定します。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Mythalion-13B-GGUF", model_file="mythalion-13b.q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

高度な使用法

# 高度なシナリオでの使用例
# 例えば、特定のプロンプトを使用してモデルを実行する場合
prompt = "### Instruction:\nDescribe the future of AI.\n### Response:"
print(llm(prompt))

📚 ドキュメント

モデルの詳細情報

GGUF形式について

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。GGMLの代替となる形式で、現在はllama.cppではGGMLがサポートされなくなっています。GGUFは、GGMLに比べて多くの利点があり、より良いトークン化や特殊トークンのサポート、メタデータのサポートなどがあり、拡張性も考慮されています。

以下は、GGUFをサポートすることが知られているクライアントやライブラリの不完全なリストです。

• llama.cpp：GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• text-generation-webui：最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションに対応しています。
• KoboldCpp：完全な機能を備えたWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションに対応しています。特にストーリーテリングに適しています。
• LM Studio：WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションに対応しています。
• LoLLMS Web UI：多くの興味深い独自の機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリも備えています。
• Faraday.dev：WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションに対応しています。
• ctransformers：GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。
• llama-cpp-python：GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• candle：パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。

量子化方法の説明

提供されるファイル

注: 上記のRAM数値は、GPUオフロードがないことを前提としています。レイヤーをGPUにオフロードすると、RAM使用量が減少し、代わりにVRAMが使用されます。

モデルの使用方法

LangChainとの連携

以下は、llama-cpp-python または ctransformers をLangChainと連携させるガイドです。

• LangChain + llama-cpp-python
• LangChain + ctransformers

🔧 技術詳細

このモデルは、llamaベースのアーキテクチャを使用しています。多様なデータセットで訓練され、量子化方法によって異なるサイズと品質のモデルが提供されています。GGUF形式を使用することで、多くのクライアントやライブラリとの互換性が確保されています。

📄 ライセンス

このモデルは、llama2ライセンスの下で提供されています。