Mental Health FineTuned Mistral 7B Instruct V0.2 I1 GGUF

🚀 Mental-Health-FineTuned-Mistral-7B-Instruct-v0.2のGGUF量子化モデル

このプロジェクトは、prabureddy/Mental-Health-FineTuned-Mistral-7B-Instruct-v0.2モデルをGGUF形式に量子化したものです。量子化されたモデルは、さまざまなサイズと品質で提供されており、利用者のニーズに合わせて選択できます。

🚀 クイックスタート

このモデルの量子化バージョンを使用するには、以下の情報を参考にしてください。

モデル情報

概要

https://huggingface.co/prabureddy/Mental-Health-FineTuned-Mistral-7B-Instruct-v0.2 のweighted/imatrix量子化バージョンです。静的量子化データは、https://huggingface.co/mradermacher/Mental-Health-FineTuned-Mistral-7B-Instruct-v0.2-GGUF で入手できます。

💻 使用例

基本的な使用法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

📚 ドキュメント

提供される量子化モデル

（サイズでソートされており、必ずしも品質を反映しているわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる低品質量子化タイプの比較グラフです（値が低いほど良い）：

Artefact2によるこの問題に関する考察はこちら： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問とモデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。

謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーの使用を許可していただき、ワークステーションのアップグレードを提供していただいたことに感謝します。また、@nicoboss には、彼のプライベートスーパーコンピューターへのアクセスを許可していただき、通常よりも高品質の多くのimatrix量子化を提供できるようになったことに感謝します。