Smart Lemon Cookie 7B GGUF

🚀 Smart-Lemon-Cookie-7B

このプロジェクトは、FallenMerick/Smart-Lemon-Cookie-7Bの静的量子化モデルを提供し、テキスト生成やロールプレイなどのタスクに使用できます。

🚀 クイックスタート

このセクションでは、モデルの概要と使用方法について説明します。

モデル情報

概要

https://huggingface.co/FallenMerick/Smart-Lemon-Cookie-7B の静的量子化モデルです。現時点では、weighted/imatrix 量子化は利用できない可能性があります。静的量子化モデルが公開されてから約1週間後も提供されない場合は、計画されていない可能性があります。コミュニティディスカッションを開いてリクエストすることができます。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。複数のパートファイルを結合する方法も含まれています。

提供される量子化モデル

（サイズでソートされており、必ずしも品質を反映しているわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです。）

ikawrakowによる、一部の低品質量子化タイプを比較した便利なグラフです（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考察もあります： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問とモデルリクエスト

質問に対する回答や、他のモデルの量子化をリクエストする場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社である nethype GmbH に感謝します。彼らは、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたことで、私が余暇時間にこの作業を行うことができるようになりました。

📄 ライセンス

このモデルは cc-by-4.0 ライセンスの下で提供されています。