Gemma 2 2b Jpn It Translate GGUF

🚀 gemma-2-2b-jpn-it-translate 静的量子化モデル

このプロジェクトは、webbigdata/gemma-2-2b-jpn-it-translate モデルの静的量子化バージョンを提供します。量子化されたモデルは、メモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

このモデルの量子化バージョンについての詳細は、以下のセクションで説明します。

📚 ドキュメント

概要

https://huggingface.co/webbigdata/gemma-2-2b-jpn-it-translate の静的量子化バージョンです。重み付き/インマトリックス量子化は、https://huggingface.co/mradermacher/gemma-2-2b-jpn-it-translate-i1-GGUF で利用可能です。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

提供される量子化バージョン

（サイズでソートされており、必ずしも品質を反映しているわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる、一部の低品質量子化タイプを比較した便利なグラフを以下に示します（数値が低いほど良い）。

また、Artefact2によるこの問題に関する考察は、https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 で確認できます。

よくある質問 / モデルリクエスト

よくある質問の回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社 nethype GmbH に感謝します。彼らは、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたおかげで、私はこの作業を自由時間に行うことができました。

モデル情報