Sophosympatheia StrawberryLemonade L3 70B V1.0 GGUF

🚀 sophosympatheiaによるStrawberryLemonade-L3-70B-v1.0のLlamacpp imatrix量子化

このプロジェクトは、sophosympatheiaによるStrawberryLemonade-L3-70B-v1.0モデルを量子化したものです。量子化には、llama.cppのリリースb5596を使用しています。

🚀 クイックスタート

• 元のモデルは、こちらから確認できます。
• すべての量子化モデルは、ここのデータセットを使用し、imatrixオプションで作成されています。
• これらの量子化モデルは、LM Studioで実行できます。
• また、llama.cppや他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

• 量子化により、モデルのサイズを大幅に削減し、メモリ使用量を抑えることができます。
• 複数の量子化形式が用意されており、ユーザーのハードウェア環境や性能要件に合わせて選択できます。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliがインストールされていることを確認してください。以下のコマンドでインストールできます。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/sophosympatheia_StrawberryLemonade-L3-70B-v1.0-GGUF --include "sophosympatheia_StrawberryLemonade-L3-70B-v1.0-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/sophosympatheia_StrawberryLemonade-L3-70B-v1.0-GGUF --include "sophosympatheia_StrawberryLemonade-L3-70B-v1.0-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、現在のディレクトリ（./）にダウンロードすることができます。

💻 使用例

プロンプト形式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

📚 ドキュメント

ダウンロードファイルの選択

埋め込み/出力重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準の量子化方法を使用していますが、埋め込みと出力の重みは通常のデフォルト値ではなく、Q8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、メモリ内で重みをインターリーブすることで、ARMおよびAVXマシンでの性能を向上させていました。 しかし、現在では「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。 llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。 また、このPRにより、IQ4_NLを使用することで、少し品質を向上させることができます。これはARM用に重みを再パッキングしますが、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

ダウンロードファイル一覧

🔧 技術詳細

量子化には、llama.cppのリリースb5596を使用しています。すべての量子化モデルは、ここのデータセットを使用し、imatrixオプションで作成されています。

📄 ライセンス

このプロジェクトは、llama3ライセンスの下で提供されています。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。 埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。 私の仕事を支援してくれたLM Studioに感謝します。 私の仕事を支援したい場合は、こちらのko-fiページを訪問してください。https://ko-fi.com/bartowski