Longwriter Zero 32B GGUF

🚀 LongWriter-Zero-32B 量子化モデル

LongWriter-Zero-32B量子化モデルは、オリジナルモデルに基づいて静的量子化処理を行い、ユーザーにさまざまなタイプの量子化バージョンを提供します。多言語をサポートし、強化学習や執筆などの長文脈シーンに適しています。

🚀 クイックスタート

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照して、複数の部分ファイルを結合する方法など、詳細な情報を入手してください。

✨ 主な機能

• 多言語対応：英語（en）と中国語（zh）をサポートします。
• 幅広い適用シーン：強化学習、執筆、長文脈処理に適しています。
• 複数の量子化バージョン：さまざまなタイプとサイズの量子化バージョンを提供し、選択肢を豊富にします。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。上記のクイックスタートの使用説明を参考にしてください。

📚 ドキュメント

モデル情報

量子化について

これはhttps://huggingface.co/THU-KEG/LongWriter-Zero-32B の静的量子化バージョンです。重み/行列の量子化ファイルは、https://huggingface.co/mradermacher/LongWriter-Zero-32B-i1-GGUF で入手できます。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質を表すものではありません。IQ量子化は通常、同じサイズの非IQ量子化よりも優れています）

ikawrakowによって提供された、いくつかの低品質量子化タイプを比較する便利なグラフがあります（数値が低いほど良い）：

また、Artefact2のこの問題に対する見解は、https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 を参照してください。

よくある質問とモデルリクエスト

関連する質問がある場合や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を確認してください。

📄 ライセンス

このモデルはapache-2.0ライセンスを使用しています。

🙏 謝辞

私の会社 nethype GmbH に感謝します。彼らは私にサーバーの使用を許可し、ワークステーションをアップグレードしてくれたおかげで、私は余暇時間にこの作業を完了することができました。