GIGABATEMAN 7B GGUF

🚀 GIGABATEMAN - 7B

このモデルは、テキスト生成タスクに特化した高性能なモデルで、Mistralアーキテクチャをベースにしたマージモデルです。

📋 モデル情報

🚀 クイックスタート

概要

このモデルは、https://huggingface.co/DZgas/GIGABATEMAN - 7B の静的量子化バージョンです。現時点では、重み付き/imatrix量子化は利用できない可能性があります。静的量子化バージョンが公開されてから約1週間後にまだ表示されない場合は、計画されていない可能性があります。コミュニティディスカッションを開いてリクエストすることができます。

使用方法

GGUFファイルの使い方がわからない場合は、[TheBlokeのREADME](https://huggingface.co/TheBloke/KafkaLM - 70B - German - V0.1 - GGUF) を参照してください。ここには、マルチパートファイルの結合方法も含め、詳細な情報が記載されています。

📦 提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

量子化タイプ比較グラフ

ikawrakowによる、一部の低品質量子化タイプを比較した便利なグラフです（数値が低いほど良い）：

Artefact2の意見

この問題に関するArtefact2の考え方はこちら： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

❓ FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

🙏 謝辞

この作業を私の自由時間に行えるように、自社のサーバーを使用させてくれ、ワークステーションのアップグレードを提供してくれたnethype GmbHに感謝します。