Gama 12b I1 GGUF

🚀 Gama-12B 量子化モデルプロジェクト

このプロジェクトでは、rodrigomt/gama-12bモデルの量子化バージョンを提供しています。様々な量子化タイプのファイルが含まれており、テキスト生成などのタスクに使用できます。このプロジェクトを通じて、ユーザーは異なる量子化レベルのモデルを簡単に利用し、さまざまなシナリオでのパフォーマンスと品質の要件を満たすことができます。

🚀 クイックスタート

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。ここには、複数の部分ファイルを結合する方法など、詳細な情報が記載されています。

📚 ドキュメント

モデル情報

モデルについて

rodrigomt/gama-12b の重み/行列量子化バージョンです。静的量子化ファイルは こちら から入手できます。

提供される量子化ファイル

（ファイルサイズでソートされており、必ずしも品質の順序を表しているわけではありません。通常、IQ量子化ファイルは同じサイズの非IQ量子化ファイルよりも優れています）

以下はikawrakowによる、比較的低品質の量子化タイプに関する実用的なグラフです（数値が低いほど良い）：

また、この問題に関するArtefact2の見解も参考にできます：リンク

よくある質問とモデルリクエスト

関連する質問がある場合や、他のモデルの量子化を希望する場合は、こちら を参照して回答を得てください。

📄 ライセンス

このプロジェクトはgemmaライセンスを使用しています。

🙏 謝辞

私の会社 nethype GmbH には、サーバーの使用を許可し、ワークステーションをアップグレードしてくれたことで、私が余暇時間にこの作業を完了できたことに感謝します。また、@nicoboss には、彼のプライベートスーパーコンピューターを使用させてくれたことで、より多くの高品質な行列量子化ファイルを提供できたことに感謝します。