🚀 ギリシャ語テキスト要約モデルの静的量子化バージョン
このプロジェクトは、ギリシャ語のテキストを要約するための静的量子化モデルを提供します。モデルは、https://huggingface.co/kriton/greek - text - summarization のベースモデルを量子化したものです。
🚀 クイックスタート
このセクションでは、この量子化モデルの基本的な情報と使用方法について説明します。
✨ 主な機能
- テキスト要約:ギリシャ語のテキストを要約する機能を提供します。
- 量子化モデル:静的量子化により、モデルのサイズを削減し、推論速度を向上させます。
📚 ドキュメント
概要
https://huggingface.co/kriton/greek - text - summarization の静的量子化バージョンです。
weighted/imatrix の量子化データは現時点では(私には)利用できないようです。静的量子化データが公開されてから1週間程度経っても表示されない場合は、私が計画していない可能性があります。コミュニティディスカッションを開いてリクエストしてください。
使用方法
GGUFファイルの使い方がわからない場合は、[TheBlokeのREADME](https://huggingface.co/TheBloke/KafkaLM - 70B - German - V0.1 - GGUF) を参照してください。これには、複数のパートからなるファイルを結合する方法も含まれています。
提供される量子化データ
(サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです)
リンク |
タイプ |
サイズ/GB |
注意事項 |
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q2_K.gguf) |
Q2_K |
0.3 |
|
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q3_K_S.gguf) |
Q3_K_S |
0.3 |
|
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q3_K_M.gguf) |
Q3_K_M |
0.3 |
品質が低い |
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q3_K_L.gguf) |
Q3_K_L |
0.3 |
|
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.IQ4_XS.gguf) |
IQ4_XS |
0.3 |
|
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q4_K_S.gguf) |
Q4_K_S |
0.3 |
高速、推奨 |
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q4_K_M.gguf) |
Q4_K_M |
0.3 |
高速、推奨 |
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q5_K_S.gguf) |
Q5_K_S |
0.3 |
|
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q5_K_M.gguf) |
Q5_K_M |
0.3 |
|
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q6_K.gguf) |
Q6_K |
0.4 |
非常に高品質 |
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.Q8_0.gguf) |
Q8_0 |
0.4 |
高速、最高品質 |
[GGUF](https://huggingface.co/mradermacher/greek - text - summarization - GGUF/resolve/main/greek - text - summarization.f16.gguf) |
f16 |
0.7 |
16 bpw、過剰 |
ikawrakowによるいくつかの低品質量子化タイプを比較した便利なグラフです(値が低いほど良い):

また、Artefact2のこの問題に関する考え方はこちらです:
https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9
FAQ / モデルリクエスト
質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。
謝辞
私の会社 nethype GmbH に感謝します。彼らは私にサーバーを使用させ、私のワークステーションをアップグレードして、私が余暇時間にこの作業を行えるようにしてくれました。また、@nicoboss にも感謝します。彼は私に彼のプライベートなスーパーコンピューターへのアクセスを許可し、私が通常よりもはるかに多くのimatrix量子化データを高品質で提供できるようにしてくれました。
📄 ライセンス
このモデルは、Apache - 2.0ライセンスの下で提供されています。
属性 |
详情 |
ベースモデル |
kriton/greek - text - summarization |
言語 |
el |
ライブラリ名 |
transformers |
ライセンス |
apache - 2.0 |
量子化担当者 |
mradermacher |
タグ |
summarization |