Beaver 7b V3.0 GGUF

🚀 PKU-Alignment/beaver-7b-v3.0の静的量子化モデル

このプロジェクトは、PKU-Alignment/beaver-7b-v3.0モデルの静的量子化バージョンを提供します。量子化により、モデルのメモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

このモデルの使用方法や詳細については、以下のセクションを参照してください。

📚 ドキュメント

概要

https://huggingface.co/PKU-Alignment/beaver-7b-v3.0 の静的量子化モデルです。現時点では、重み付き/インマトリックス量子化は利用できない可能性があります。静的量子化モデルが公開されてから1週間程度経っても表示されない場合は、私が計画していない可能性があります。コミュニティディスカッションを開いてリクエストしてください。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法など、詳細な情報が含まれています。

提供される量子化モデル

（サイズでソートされており、必ずしも品質を表しているわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる、いくつかの低品質量子化タイプを比較した便利なグラフです（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考察もあります： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社である nethype GmbH に感謝します。彼らは私にサーバーを使用させ、ワークステーションをアップグレードして、私が余暇時間にこの作業を行えるようにしてくれました。

情報テーブル