Liberalmind V1.5 I1 GGUF

🚀 LiberalMind_v1.5 量子化モデル

このプロジェクトは、LiberalMind_v1.5モデルの量子化バージョンを提供しています。量子化されたモデルは、メモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

モデル情報

概要

https://huggingface.co/liberalusa/LiberalMind_v1.5 のweighted/imatrix量子化モデルです。静的量子化モデルは https://huggingface.co/mradermacher/LiberalMind_v1.5 - GGUF で利用可能です。

使用方法

GGUFファイルの使い方がわからない場合は、[TheBlokeのREADME](https://huggingface.co/TheBloke/KafkaLM - 70B - German - V0.1 - GGUF) を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

提供される量子化モデル

（サイズ順にソートされており、必ずしも品質の順ではありません。IQ量子化モデルは、同じサイズの非IQ量子化モデルよりも優れていることが多いです）

ikawrakowによる低品質量子化タイプの比較グラフ（値が低いほど良い）：

Artefact2によるこの問題に関する考察： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社 nethype GmbH には、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたことに感謝します。これにより、私は余暇時間にこの作業を行うことができました。また、@nicoboss には、プライベートなスーパーコンピューターへのアクセスを許可してくれたことに感謝します。これにより、私は通常よりも多くのimatrix量子化モデルを、はるかに高い品質で提供することができました。

📄 ライセンス

このプロジェクトは、apache - 2.0ライセンスの下で提供されています。