Longwriter Zero 32B I1 GGUF

🚀 LongWriter-Zero-32B 量化模型

LongWriter-Zero-32B 量化模型基於 THU-KEG/LongWriter-Zero-32B 基礎模型，支持中英雙語，適用於強化學習、寫作等長上下文場景。本項目提供了多種量化版本的模型文件，方便不同需求的用戶使用。

🚀 快速開始

若你不確定如何使用 GGUF 文件，可參考 TheBloke 的 README 獲取更多詳情，其中包括如何拼接多部分文件。

✨ 主要特性

• 多語言支持：支持英文和中文兩種語言。
• 多量化版本：提供多種不同大小和質量的量化版本供選擇。
• 長上下文處理：適用於長上下文的強化學習和寫作任務。

📦 安裝指南

文檔未提供具體安裝步驟，可參考上述快速開始部分的使用說明。

📚 詳細文檔

模型信息

量化模型說明

加權/imatrix 量化模型基於 https://huggingface.co/THU-KEG/LongWriter-Zero-32B。靜態量化模型可在 https://huggingface.co/mradermacher/LongWriter-Zero-32B-GGUF 獲取。

提供的量化模型

（按大小排序，不一定代表質量。IQ 量化通常優於類似大小的非 IQ 量化）

ikawrakow 提供了一個方便的圖表，用於比較一些低質量量化類型（數值越低越好）：

此外，Artefact2 對此也有相關見解：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

常見問題與模型請求

若你有相關問題或希望對其他模型進行量化，可查看 https://huggingface.co/mradermacher/model_requests 獲取答案。

📄 許可證

本項目採用 apache-2.0 許可證。

🙏 致謝

感謝我的公司 nethype GmbH 允許我使用其服務器，並對我的工作站進行升級，使我能夠在業餘時間完成這項工作。此外，感謝 @nicoboss 讓我使用他的私人超級計算機，使我能夠提供更多、質量更高的 imatrix 量化模型。