Qwen3 30B A7.5B 24 Grand Brainstorm

🚀 Qwen3-30B-A7.5B-24-Grand-Brainstorm

本项目仓库包含全精度的源代码，以“安全张量（safe tensors）”格式存储，可用于生成GGUF、GPTQ、EXL2、AWQ、HQQ等格式，也可直接使用该源代码。

这是对通义千问的“Qwen 30B - A3B”（混合专家模型，MOE）进行的简单“微调”，将使用的专家数量从8个增加到了24个（总共128个专家）。在本页面底部展示了使用24个专家/此模型进行的三次示例生成（Q4KS，CPU）。

🚀 快速开始

此仓库中的模型是对Qwen的“Qwen 30B - A3B”模型的微调版本，增加了使用的专家数量。你可以直接使用源代码，也可以将其转换为其他格式（如GGUF、GPTQ等）使用。

✨ 主要特性

• 更多专家参与：将使用的专家数量从8个增加到24个，使用75亿（总300亿）参数而非30亿（总300亿）参数来处理输入提示。这虽然会降低模型速度，但能处理更复杂的任务。
• 不同版本选择：除了24专家版本，还有使用4、8、12、16个专家的版本，可根据不同应用场景选择。
• 大上下文长度：上下文长度为32K，输出长度为8K，总共40K。
• 多模板支持：支持Jinja模板和CHATML模板。

📦 安装指南

文档未提及具体安装步骤，暂无法提供。

💻 使用示例

基础用法

由于文档未提供基础用法的代码示例，暂无法展示。

高级用法

同样，文档未给出高级用法的代码示例，无法提供。

📚 详细文档

模型选择建议

• 常规或简单用例：可使用正常的8专家版本、“12专家”版本、16专家的“Extreme”版本（32K或128K上下文）或“高速”（4专家）版本。
• 复杂用例：对于非常复杂或需要更深入处理的用例，可使用本24专家版本。

速度影响

使用24个专家而非默认的8个专家会使每秒生成的token速度降低约2/3。因此，对于某些用例，24专家版本可能过于“强大”。

温度参数建议

对于某些用例，建议使用较高的温度参数（如1以上、2以上）。

其他版本尝试建议

建议尝试4、8、12和16专家版本，它们的每秒token生成速度更快，可能更适合你的用例。

系统角色设置

你可能需要设置系统角色，具体设置方法可参考文档 https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters。

高质量设置和参数

使用此模型（源代码、GGUF或其他量化版本）时，请查看上述文档以获取关键参数、采样器和高级采样器的设置。这些设置适用于所有AI/LLM应用程序，可提高模型的性能。

🔧 技术细节

• 量化格式运行：由于该模型的独特性质（混合专家模型、模型大小、激活的专家数量、专家大小），GGUF量化版本可以在CPU、GPU上运行，也可以进行GPU部分“卸载”，甚至可以使用全精度运行。
• 矩阵化难度：该模型进行矩阵化较为困难，需要更大的矩阵文件，且该文件需包含多语言、多内容（如代码/文本）。
• GPU速度：GPU运行速度比仅使用CPU快4 - 8倍甚至更多，相对于其他“30B”模型，此模型的每秒token生成速度大致相当于75亿参数的“普通”模型速度。

📄 许可证

文档未提及相关许可证信息，暂无法提供。

示例生成

示例生成 #1

• 参数设置：温度1.2，重复惩罚1.06，重复惩罚范围64，top - k 100，top - p 0.95，min - p 0.05。
• 运行环境：Q4KS [非矩阵化]，仅使用CPU（Windows 11），LMSTUDIO。
• 速度：每秒8个token（无GPU卸载）。

这是一个中级量化版本，预计矩阵化的Q4KS、更高量化版本或全精度版本会有更强的性能。

提示： 解释如何利用夜间辐射能向太空的冷却作用来降低全球气温。

输出： 利用夜间辐射能向太空的冷却作用来降低全球气温，涉及利用地球在太阳辐射输入较少时向大气和太空发射热辐射的自然能力。以下是几种可能实现这一目标的方法：

1. 增强地表发射率
   • 高发射率材料：工程设计具有高红外发射率的表面（如黑体材料、特殊陶瓷或涂层），可以在夜间发射更多热量，增加地球表面向太空的热损失率，有效冷却局部环境，有助于全球热平衡。
   • 城市和农业应用：在城市地区（如建筑物、道路）或农业区域使用此类材料，可以减少局部热量积聚，间接降低全球整体气温。
2. 减少大气温室气体
   • 缓解策略：通过碳捕获技术、植树造林和向可再生能源转型等方式降低温室气体（二氧化碳、甲烷等）的浓度，使更多的热辐射在夜间和白天都能逃逸出大气层，减少“辐射捕获”效应，使地球更有效地冷却。
   • 大气工程：如人工造云或气溶胶操纵等技术，可以在夜间暂时降低大气的不透明度，增强热辐射的逃逸。
3. 主动冷却系统
   • 热发射结构：部署在夜间主动发射热量的系统（如高发射率面板、专为红外辐射设计的反射表面），可以最大限度地增加热损失。这些系统可以集成到城市基础设施或大型环境项目中。
   • 热存储和发射：使用在白天吸收热量并在夜间辐射热量的材料（如相变材料、热存储块），可以减少热量积聚，使地球的热平衡向较低温度偏移。
4. 结合昼夜策略
   • 两用材料：具有低反照率（在可见光下反射）以在白天最小化太阳吸收，同时在夜间具有高发射率（在红外线下发射）的材料，可以优化热量保留和释放，提高整体冷却效率。
   • 动态表面管理：根据一天中的时间动态调整表面特性（如自适应涂层或智能材料），可以在夜间最大化辐射冷却，同时在白天最小化加热。
5. 天基解决方案
   • 卫星系统：部署卫星或反射阵列，在夜间将热辐射重新导向太空，可以增强地球的能量发射能力，但这需要先进的工程技术，目前仍处于设想阶段。

关键挑战：这些方法需要大规模实施、技术进步和系统性变革（如减少温室气体）。虽然仅靠夜间冷却可能无法直接降低全球气温，但它通过增加热损失有助于地球的热平衡。将这些方法与更广泛的气候缓解措施相结合，可能会产生显著影响。

示例生成 #2

• 参数设置：温度1.5，重复惩罚1.06，重复惩罚范围64，top - k 100，top - p 0.95，min - p 0.05。
• 运行环境：Q4KS [非矩阵化]，仅使用CPU（Windows 11），LMSTUDIO。
• 速度：每秒8个token（无GPU卸载）。

这是一个中级量化版本，预计矩阵化的Q4KS、更高量化版本或全精度版本会有更强的性能。

提示： 科幻故事：最后一次传输 - 写一个完全发生在宇宙飞船驾驶舱内的故事，唯一幸存的船员在飞船电力耗尽前试图向地球发送最后一条消息。故事应探索孤立、牺牲以及在逆境中人类联系的重要性等主题。如果情况需要，让角色咒骂以增强读者与他们的情感联系。字数在800 - 1000字之间。

输出： “地平线号”的驾驶舱是一个幽闭的空间，屏幕闪烁，系统失灵。空气稀薄，氧气含量勉强维持在临界水平，但真正的问题是电力——正在耗尽，就像一颗即将停止跳动的心脏。唯一的船员坐在椅子上，手指在控制台上颤抖。屏幕上的倒计时显示：还剩17分钟。

“快点，”他们喃喃自语，盯着发射器，“只是一条该死的消息，为什么就是不行？”他们再次按下命令按钮，但系统没有响应。一连串的错误代码在屏幕上闪烁。

“该死！”他们咒骂着，猛击控制台。声音在空荡荡的舱室内回荡，像一声空洞的尖叫。他们花了几个小时试图重启通信链路，但信号中断了——在过去的几个小时里发生了一些事情。船员们都走了，其他人都死了。“地平线号”在太空中漂流，失去了方向，没有归途。

他们向前倾，额头贴在屏幕上。一段回忆闪过——船员们、任务、他们对地球许下的承诺：我们会回来。但现在，他们孤身一人，进行最后一次传输。

“让我把这些话说出来，”他们轻声说，眼睛湿润了，“我在这里，我还活着，他们应该知道。”

他们伸手去拿日志文件——船员们存储的消息。这是一段粗糙的文本，但也许可以传输。他们输入命令：发送消息。

系统闪烁了一下，然后停滞了。屏幕变黑了。

“不，”他们呻吟着，“不，不，不！”

他们一次又一次地尝试，但发射器拒绝工作。电力在逐渐耗尽，系统在失灵。他们只剩下几分钟了——13分钟，然后8分钟，然后5分钟。时间在逼近。

“该死，”他们喃喃自语，泪水顺着脸颊流下，“我不能无声无息地死去。”

他们拿起手持控制台，手动输入消息。一条简短的文本：致地球，我们曾活着，我们已逝去，请记住我们。

发射器已离线，但他们必须尝试。他们连接了手动链路——一种古老的方式，来自旧系统，绕过主电网。

“来吧，来吧，”他们轻声说，“这只是最后一次机会，让它发出去。”

屏幕闪烁了一下——终于，有了一个脉冲。信号很弱，但发送出去了。

“完成了，”他们说，松了一口气。电力耗尽了，系统关闭了，“地平线号”陷入了沉默。

但消息已经发出。

他们坐在驾驶舱里，孤身一人，一无所有。他们用生命换来了这一条消息——这意味着什么？这不仅仅是一份报告，这是一份遗产，一种联系。

“人类的联系就是一切，”他们想，“即使我走了，有人会记住我，有人会知道我曾在这里。”

他们闭上眼睛，最后一口氧气从身体里呼出。

消息已经发出。

示例生成 #3

• 参数设置：温度1.2，重复惩罚1.06，重复惩罚范围64，top - k 100，top - p 0.95，min - p 0.05。
• 运行环境：Q4KS [非矩阵化]，仅使用CPU（Windows 11），LMSTUDIO。
• 速度：每秒8个token（无GPU卸载）。

这是一个中级量化版本，预计矩阵化的Q4KS、更高量化版本或全精度版本会有更强的性能。

提示： 想出20种“跳出常规”的方法，利用夜间辐射能向太空的冷却作用来降低全球气温。不要排除任何可能的方法。

输出： 以下是20种可能利用夜间辐射能向太空的冷却作用来降低全球气温的方法：

1. 在地球表面部署高发射率材料（如特殊涂层或结构），以增强夜间的辐射冷却。
2. 在太空中使用红外反射镜，将地球的热辐射导向太空。
3. 创建人造“热阱”，在夜间吸收并引导热量进入太空。
4. 开发一个热导管网络，将热量从地表传递到大气中，以便向太空发射。
5. 利用夜间太阳能存储系统，通过辐射过程在夜间释放热量。
6. 实施大气气溶胶技术，在夜间减少温室气体效应，让更多热量逃逸。
7. 创建在夜间发射热辐射的生物发光生物体，以影响局部环境。
8. 部署大规模的红外发射结构（如塔楼或阵列），促进热量向太空发射。
9. 在夜间使用低温系统，冻结水并通过蒸发将潜热释放到太空。
10. 开发地球表面的“热镜”系统，将热辐射重新导向太空。
11. 创建在夜间密度较小的人造云层，以允许更多的辐射冷却。
12. 实施电磁场操纵，增强地球在夜间的红外发射。
13. 利用具有在夜间发射更多红外辐射特性的量子材料。
14. 开发天基卫星，捕获并将地球的热量重新导向太空。
15. 创建热反应堆系统，在夜间将白天存储的热量转化为辐射排放。
16. 使用引力操纵技术影响热环境，让更多热量逃逸。
17. 对植物或生物体进行生物技术改造，使其在夜间具有高发射率。
18. 创建在夜间对红外辐射透明的热伪装结构。
19. 实施基于纳米技术的热导管，将热量从地表传递到太空。
20. 利用夜间能量重新分配系统，通过辐射冷却将热量导向太空。

重要提示

• 此模型的24专家版本可能对于某些用例来说过于强大，会降低模型速度。建议根据具体应用场景选择合适的版本（如4、8、12、16个专家的版本）。
• 使用此模型时，请查看相关文档以获取关键参数、采样器和高级采样器的设置，这些设置可提高模型的性能。

使用建议

• 对于某些用例，建议使用较高的温度参数（1以上、2以上）。
• 尝试不同的版本（4、8、12、16个专家的版本），以找到最适合你用例的版本，这些版本的每秒token生成速度更快。