Mistral 7B Instruct Uz GGUF

🚀 Mistral-7B-Instruct-Uz-GGUFについて

このプロジェクトは、https://huggingface.co/behbudiy/Mistral-7B-Instruct-Uz の静的量子化モデルを提供します。このモデルは、複数のデータセットを用いてトレーニングされ、複数の言語に対応しています。

🔍 基本情報

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

🚀 クイックスタート

概要

https://huggingface.co/behbudiy/Mistral-7B-Instruct-Uz の静的量子化モデルです。

注意事項

weighted/imatrixの量子化データは現時点では取得できない可能性があります。静的量子化データが公開されてから約1週間後も表示されない場合は、私が計画していない可能性があります。コミュニティディスカッションを開いてリクエストすることができます。

💻 使用例

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

📦 提供される量子化モデル

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化モデルは、同じサイズの非IQ量子化モデルよりも優れていることが多いです。）

ikawrakowによる低品質量子化タイプの比較グラフです（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考察もあります： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

📚 よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

🙏 謝辞

私の会社である nethype GmbH に感謝します。彼らは私にサーバーを使用させ、ワークステーションのアップグレードを提供してくれたおかげで、私は余暇時間にこの作業を行うことができました。