Google Medgemma 27b It GGUF

🚀 Googleによるmedgemma - 27b - itのLlamacpp imatrix量子化

このプロジェクトは、Googleのmedgemma - 27b - itモデルのLlamacpp imatrix量子化を提供します。医療分野に特化したこのモデルは、画像とテキストの処理に優れており、様々な医療シナリオでの活用が期待されます。

🔍 基本情報

⚠️ 重要提示

Hugging FaceでMedGemmaにアクセスするには、[Health AI Developer Foundationの利用規約](https://developers.google.com/health - ai - developer - foundations/terms)を確認し、同意する必要があります。これを行うには、Hugging Faceにログインし、下のボタンをクリックしてください。リクエストは即座に処理されます。

🚀 クイックスタート

量子化について

llama.cppのリリース b5868 を使用して量子化を行っています。オリジナルモデルは [こちら](https://huggingface.co/google/medgemma - 27b - it) です。すべての量子化は、ここ のデータセットを使用してimatrixオプションで作成されています。

実行方法

• LM Studio で実行することができます。
• llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

プロンプト形式

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

📦 インストール

huggingface - cliを使用したダウンロード

まず、huggingface - cliをインストールしてください。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/google_medgemma-27b-it-GGUF --include "google_medgemma-27b-it-Q4_K_M.gguf" --local-dir ./

モデルが50GB以上の場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/google_medgemma-27b-it-GGUF --include "google_medgemma-27b-it-Q8_0/*" --local-dir ./

💻 使用例

ファイルダウンロード

以下の表からファイルを選択してダウンロードできます。

🔧 技術詳細

埋め込み/出力重み

一部の量子化（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力重みが通常のデフォルトではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。 現在では、重みの「オンライン再パッキング」と呼ばれる機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。 llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。 さらに、このPR により、ARM用に重みを再パッキングするIQ4_NLを使用すると、少し品質を向上させることができます。ただし、現在は4_4のみです。読み込み時間は遅くなる可能性がありますが、全体的な速度が向上します。

📄 ライセンス

このプロジェクトは、[Health AI Developer Foundationの利用規約](https://developers.google.com/health - ai - developer - foundations/terms)に基づいてライセンスされています。

謝辞

• imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。
• 埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。
• 私の仕事を支援してくれたLM Studioに感謝します。

もし私の仕事をサポートしたい場合は、こちら のko - fiページをご覧ください。