Noticia 7B I1 GGUF

🚀 NoticIA-7B モデル

このプロジェクトは、NoticIA-7B モデルのGGUF形式の量子化バージョンを提供します。GGUF形式のファイルを使用することで、モデルの効率的な使用が可能になります。

📚 ドキュメント

モデル情報

概要

https://huggingface.co/somosnlp/NoticIA-7B のweighted/imatrix量子化バージョンです。静的量子化データは https://huggingface.co/mradermacher/NoticIA-7B-GGUF で入手可能です。

使用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

提供される量子化データ

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる低品質量子化タイプの比較グラフです（値が低い方が良い）：

また、Artefact2によるこの問題に関する考察はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

この作業を可能にするために、自社のサーバーを使用させてくれた nethype GmbH と、私のワークステーションのアップグレードを提供してくれた会社に感謝します。また、私に彼のプライベートスーパーコンピューターへのアクセスを許可してくれた @nicoboss にも感謝します。これにより、私は通常よりも高品質の多くのimatrix量子化データを提供することができました。