🚀 gemma-2-2b-jpn-it-translate の量子化モデル
このプロジェクトは、webbigdata/gemma-2-2b-jpn-it-translate モデルを量子化したもので、翻訳タスクに特化しています。提供される量子化ファイルは、さまざまなサイズと品質で利用可能です。
🚀 クイックスタート
以下に、この量子化モデルに関する基本的な情報を示します。
属性 |
详情 |
ベースモデル |
webbigdata/gemma-2-2b-jpn-it-translate |
対応言語 |
ja, en |
ライブラリ名 |
transformers |
量子化担当者 |
mradermacher |
タグ |
translation |
✨ 主な機能
- 翻訳機能:日本語と英語間の翻訳タスクに対応。
- 多様な量子化形式:さまざまなサイズと品質の量子化ファイルを提供。
📚 ドキュメント
概要
https://huggingface.co/webbigdata/gemma-2-2b-jpn-it-translate の weighted/imatrix 量子化モデルです。静的量子化ファイルは、https://huggingface.co/mradermacher/gemma-2-2b-jpn-it-translate-GGUF で入手可能です。
使用方法
GGUF ファイルの使い方がわからない場合は、TheBloke's READMEs を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。
提供される量子化ファイル
(サイズ順に並べられており、必ずしも品質順ではありません。IQ 量子化は、同程度のサイズの非 IQ 量子化よりも優れていることが多いです)
リンク |
タイプ |
サイズ(GB) |
備考 |
GGUF |
i1-IQ1_S |
0.9 |
非常に必要な場合 |
GGUF |
i1-IQ1_M |
1.0 |
多くの場合必要 |
GGUF |
i1-IQ2_XXS |
1.0 |
|
GGUF |
i1-IQ2_XS |
1.1 |
|
GGUF |
i1-IQ2_S |
1.1 |
|
GGUF |
i1-IQ2_M |
1.2 |
|
GGUF |
i1-Q2_K_S |
1.3 |
非常に低品質 |
GGUF |
i1-IQ3_XXS |
1.3 |
低品質 |
GGUF |
i1-Q2_K |
1.3 |
IQ3_XXS の方が良い可能性があります |
GGUF |
i1-IQ3_XS |
1.4 |
|
GGUF |
i1-IQ3_S |
1.5 |
Q3_K* より良い |
GGUF |
i1-Q3_K_S |
1.5 |
IQ3_XS の方が良い可能性があります |
GGUF |
i1-IQ3_M |
1.5 |
|
GGUF |
i1-Q3_K_M |
1.6 |
IQ3_S の方が良い可能性があります |
GGUF |
i1-Q3_K_L |
1.7 |
IQ3_M の方が良い可能性があります |
GGUF |
i1-IQ4_XS |
1.7 |
|
GGUF |
i1-IQ4_NL |
1.7 |
IQ4_XS を選ぶことをおすすめ |
GGUF |
i1-Q4_0 |
1.7 |
高速だが低品質 |
GGUF |
i1-Q4_K_S |
1.7 |
サイズ/速度/品質のバランスが良い |
GGUF |
i1-Q4_K_M |
1.8 |
高速で推奨 |
GGUF |
i1-Q4_1 |
1.9 |
|
GGUF |
i1-Q5_K_S |
2.0 |
|
GGUF |
i1-Q5_K_M |
2.0 |
|
GGUF |
i1-Q6_K |
2.3 |
静的 Q6_K に近い品質 |
ikawrakow による低品質量子化タイプの比較グラフです(値が低いほど良い):

また、Artefact2 の意見はこちら:
https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9
FAQ / モデルリクエスト
質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。
📄 ライセンス
本プロジェクトに関するライセンス情報は、元のモデルである webbigdata/gemma-2-2b-jpn-it-translate のライセンスに準拠します。
🙏 謝辞
この作業を可能にするために、私の会社である nethype GmbH にはサーバーの使用とワークステーションのアップグレードを提供していただき、ありがとうございます。また、@nicoboss には、プライベートスーパーコンピューターへのアクセスを許可していただき、より多くの imatrix 量子化ファイルを高品質で提供できるようになりました。感謝いたします。