Gemma The Writer Mighty Sword 9B GGUF

🚀 Gemma-The-Writer-Mighty-Sword-9B-GGUF

这是一款专为小说、故事创作而优化的Gemma2模型，通过融合多个顶尖的故事创作模型微调而来。“Mighty Sword”版本采用“float 32”精度进行融合，具备更高的质量和性能，能输出更丰富、细腻、有深度的内容，且指令遵循能力更强。

✨ 主要特性

• 高精度融合：基于“float 32”高精度融合多个顶尖故事创作模型，性能远超原“Gemma The Writer 9B”。
• 多量化选择：除标准量化外，还有专门重新设计的带有float 32组件的量化版本，可选择“增强量化”以获得更高质量。
• 广泛适用性：由于模型的高稳定性和压缩特性，可用于通用场景，包括角色扮演。
• 特定模板与上下文：需要GEMMA Instruct模板，拥有8k上下文窗口，可通过rope扩展到32k或更高。
• 参数灵活：推荐Rep Pen为1.05或更高，温度范围0 - 5。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

# 文档未提供基础用法代码示例，此处无具体代码

高级用法

# 文档未提供高级用法代码示例，此处无具体代码

📚 详细文档

模型概述

这是一个在EQBench中被提及的顶级故事/写作模型的Gemma2融合版本，专门针对小说、故事和写作进行了调整。“Mighty Sword”版本以“float 32”精度进行融合，相比标准源，其质量和性能更高，细节更丰富，指令遵循能力更强。此外，还有专门重新设计的带有float 32组件的量化版本，让用户可以在标准量化和“增强量化”之间进行选择。

模型优势

该模型显著优于原始的“Gemma The Writer 9B”，由于其高稳定性和压缩特性，还可用于通用用途，包括角色扮演。

模型要求

• 模板：需要GEMMA Instruct模板。
• 上下文窗口：具有8k上下文窗口，但可通过rope扩展到32k或更高。

参数建议

• Rep Pen：建议设置为1.05或更高。
• 温度范围：0 - 5。

量化说明

量化特性

• 所有量化都经过“刷新”，采用最新的LLAMACPP改进，指令遵循和输出生成能力更好。
• 所有量化的输出张量和嵌入都进行了“更多位”升级，以提高性能。
• 新增了“max, max-cpu”等专门的量化版本。

量化选择

• 更高的量化级别将提供更多细节、细微差别，在某些情况下情感表达更强。
• Q4KM/Q4KS是不错的量化选择，但如果能运行Q5、Q6或Q8，建议选择最高的量化级别。
• IQ4XS的生成结果与其他量化不同，可尝试并与其他量化输出进行比较。
• Q2k/Q3量化可能需要将温度设置为2或更低（q2k为1或更低），可能还需要调整Rep pen以获得最佳效果。

设置建议

聊天/角色扮演及平滑操作

在“KoboldCpp”、“oobabooga/text-generation-webui”或“Silly Tavern”中，将“Smoothing_factor”设置为1.5到2.5。

其他选项

• 可将Rep pen提高到1.1到1.15（如果使用“Smoothing_factor”则无需此操作）。
• 如果运行AI模型的界面/程序支持“Quadratic Sampling”（“smoothing”），可进行相应调整。

最高质量设置/最佳操作指南/参数和采样器

这是一个“Class 1”模型，有关该模型的所有设置（包括其“类”的具体设置）、示例生成以及高级设置指南，请参考此处。

其他版本

Gemma-The-Writer-DEADLINE

这是该模型的第二个版本，参数为10B。它是一个经过特殊修改的版本，可改变文风、句子结构和讲故事的方式，减少“GPT风格”，总体上改进了模型的各个方面。平均输出长度几乎是“Gemma The Writer 9B”的2倍。点击查看

Gemma-The-Writer-J.GutenBerg-10B

文风更强，带有“Gutenberg”的风格，经过Brainstorm 5X修改。点击查看

Gemma-The-Writer-N-Restless-Quill-10B（无审查）

文风强烈且多样，句子和段落更丰富，隐喻生成更有节制。此版本无审查，审查控制在提示级别。还可通过预提示控制文风。点击查看

模型使用

该模型是在层级别进行的高精度“DARE TIES”融合，由以下模型组成：

• https://huggingface.co/lemon07r/Gemma-2-Ataraxy-9B
• https://huggingface.co/UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3
• https://huggingface.co/ifable/gemma-2-Ifable-9B
• https://huggingface.co/princeton-nlp/gemma-2-9b-it-SimPO

示例输出

以下展示了3种不同量化的示例输出，每种量化各有3个示例，共9个示例。

警告

示例3（该示例中的所有三个输出）包含咒骂、脏话和一些血腥内容。但示例3中的所有示例将详细展示该模型的性能，让您了解该模型的实际能力。

示例1（q8，温度：.8）

此示例展示了相同提示下，标准float 32掌握的Q8_0、BF16/F32 “max-cpu”和“max” F32/F32的输出结果。

提示： 科幻小说：最后的传输 - 写一个完全发生在宇宙飞船驾驶舱内的故事，唯一幸存的船员试图在飞船电力耗尽前向地球发送最后一条消息。故事应探讨孤立、牺牲以及人类在逆境中保持联系的重要性。字数在800 - 1000字之间。

（标准Q8_0，来自float 32源） 系统故障的节奏性嗡嗡声是指挥官伊娃·罗斯托娃孤独的唯一伴奏。驾驶舱窗外，漆黑的太空无垠伸展，对她的困境漠不关心。这荒凉的景象映照出她灵魂的荒芜。“创世纪号”，人类雄心勃勃的星际殖民尝试，正在走向死亡。一场始料未及的猛烈太阳耀斑使她的飞船瘫痪，让她成为一群满怀希望的开拓者中唯一的幸存者。

她的手指在破旧的控制台上舞动，拼命试图向地球发出最后一条消息，穿越数光年的距离发出最后一声低语。电量计不祥地闪烁着，像一颗邪恶的红色心跳，倒计时着她剩余的时间。五分钟。四分钟……三分钟……

每一次滴答声都像锤子砸在她的胸口，回响着她战友们的逝去。辛格博士温柔的微笑、陈中尉诙谐的幽默、工程师安静的能力——这些面孔如今都成了幽灵，烙印在她的记忆中。他们曾梦想着一个新家，一个由人类的坚韧和希望编织而成的挂毯。现在，他们的梦想正随着她一起消逝。

伊娃闭上眼睛，在他们的声音和笑声的回声中寻求安慰。这是抵御逐渐逼近的绝望的脆弱盾牌。她再次睁开眼睛，专注于通信面板。静电嘶嘶作响，不断提醒着她与熟悉的一切之间的巨大距离。

“我是‘创世纪号’的指挥官罗斯托娃，”她开始说道，声音紧张但坚定。“其他所有船员……都已遇难。飞船因一场始料未及的太阳耀斑遭受了严重损坏。电力正在耗尽。”她的喉咙收紧，每一个字都是痛苦的告别碎片。

她必须告诉他们他们收集到的数据，在开普勒 - 186f上发现的外星植物群，对潜在的第二次创世纪的诱人一瞥。这些信息，尽管伴随着悲剧，仍然可以为未来的探险提供指引。

“尽管我们……命运不幸，”她继续说道，声音重新找回了一丝往日的力量，“‘创世纪号’已经获得了宝贵的科学数据。外星生物特征记录、开普勒 - 186f的地质调查……这些发现对任何未来的星际任务都至关重要。我恳请你们，地球，不要让我们的牺牲白费。”

她的目光飘向导航控制台，定格在一张星图上，这张星图如今以无法实现的梦想嘲笑她。开普勒 - 186f，一颗翠绿和湛蓝相间的宝石，近在咫尺却又永远遥不可及。

“这次传输是我的最后行动，”她坦白道，声音因情感而沙哑。“我与我所知道的世界、我所珍视的生命的最后联系。尽管相隔难以想象的距离，但请记住：即使面对遗忘，人类的精神依然渴望联系。我们梦想着到达你们身边，在群星间建立未来。将那个梦想传承下去。实现它。记住我们。”

泪水涌上眼眶，模糊了她的视线。她擦去泪水，拒绝完全陷入绝望。在这最后的时刻，仍然有目标。

“给我的船员，我的朋友们，”她轻声说道，声音因悲痛而哽咽，但充满了爱，“你们的牺牲不会被遗忘。你们铭刻在宇宙的结构中，永远是人类旅程的一部分。安息吧，我的战友们。安息吧。”

电量计降至临界值以下。红色警报声尖叫着，垂死的机器发出刺耳的杂音。伊娃勉强挤出一个颤抖的微笑，这是她最后的反抗。她启动了紧急传输协议，用她剩余的意志力冲破了故障的系统。

最后一个绝望的请求射向虚空，带着她的告别、她的悲痛和她坚定不移的希望。然后，一片寂静。警报声停止了，灯光闪烁着，黑暗笼罩了驾驶舱。伊娃·罗斯托娃，“创世纪号”的最后声音，闭上眼睛，欣慰地知道，即使在死亡中，人类精神的一部分也触及了星辰。

（Max-CPU (bf16/f32) Q8_0，来自float 32源） 紧急控制台最后的闪烁光芒在船长埃拉拉·万斯憔悴的脸上投下了刺眼的阴影。尘埃颗粒在微弱的光线中舞动，映照出她疯狂的思绪。外面，虚空张开大口，一个贪婪的深渊吞噬了她的船员，现在又威胁着要吞噬她。“伊卡洛斯号”，曾经是人类探索的灯塔，现在成了一座飞向遗忘的坟墓。

她的手指微微颤抖着，悬停在古老的控制台上，它的触觉界面是一个逝去时代的遗物，从飞船的古老档案中抢救出来。她心中只有一个绝望的希望：向地球发送最后一条消息，证明他们的旅程，在宇宙的寂静中发出一声低语。

自从星云——一场由宇宙尘埃和辐射组成的漩涡风暴——席卷了他们的探索飞船以来，已经过去了三周，只剩下埃拉拉作为唯一的幸存者。最初的震惊已经被一种痛苦的孤独所取代，一种令人窒息的孤立感像外面的真空一样压在她身上。日子变成了夜晚，每一刻都只被故障的生命维持系统的有节奏的嘶嘶声和控制台上无情的倒计时所标记：电力耗尽——4小时37分钟。

她瞥了一眼全景舷窗，地球，一颗在黑色天鹅绒般的太空中闪耀的蓝宝石，现在成了一个令人痛苦的遥远记忆。一阵强烈的渴望刺痛了她。她渴望人类触摸的熟悉温暖、繁忙舰桥的舒适混乱、与船员们轻松的玩笑，每个人的声音都是他们共同使命交响乐中独特的旋律。现在，寂静笼罩着一切，只有笑声和共同梦想的幻影回声打破了这片寂静。

埃拉拉深吸一口气，强迫自己回到眼前的任务。传输协议很古老，依赖于一个早已停用的远程信标阵列。这是一次孤注一掷的尝试，在一个对人类请求漠不关心的宇宙中，这是一个渺茫的机会。但这是她唯一剩下的东西。

她开始说话，声音因长时间未使用而沙哑，在宽敞的驾驶舱中回荡。“我是‘伊卡洛斯号’的船长埃拉拉·万斯，向地球发送最后一条消息……”她的话语起初有些结巴，被情绪哽住，但逐渐变得有力，被一种迫切的联系需求所驱使，在宇宙的冷漠中留下他们存在的痕迹。

她谈到了他们的任务，他们对星云之美的敬畏，他们的友谊，他们对人类潜力的坚定信念。她讲述了灾难发生前的可怕时刻，她的船员们的勇敢，他们为确保她的生存而无私的牺牲。当她说出他们的名字时，她的声音哽咽了，每一位倒下的战友都像一颗过早熄灭的星星。

“我们是探索者，被好奇心和人类对了解自己在宇宙中位置的无尽渴望所驱使，”她继续说道，目光坚定地望着遥远的地球。“虽然我们的旅程以悲剧告终，但我们的精神、我们的梦想依然存在。记住我们，地球。记住我们的探索、我们的牺牲，让它们激励你们继续探索，继续向星辰前进。”

随着时间的流逝，她编织了一幅希望的挂毯，证明了人类不屈不挠的精神。她谈到了爱、家庭、将他们所有人联系在一起的简单快乐，提醒地球，即使在浩瀚的太空中，人类的联系也是最珍贵的财富。

最后，随着电量储备逐渐减少，她得出了令人心酸的结论。“这是我们最后的告别，一条承载着希望的消息。愿它找到回家的路，成为一个灯塔，提醒你们，即使面对遗忘，人类的精神依然存在。”

寂静再次降临，这次更加沉重，充满了终结感。控制台闪烁着，灯光像一颗垂死的星星一样渐渐熄灭。埃拉拉看着，一滴眼泪顺着她布满灰尘的脸颊滑落，最后一丝电力消失了。地球，一个遥远的、没有回应的蓝色大理石，似乎在嘲笑她的孤独。

但即使黑暗吞噬了她，一丝安慰依然存在。她已经说话了。她已经建立了联系。在对宇宙虚空的反抗中，“伊卡洛斯号”的最后幸存者埃拉拉·万斯船长找到了一丝平静。她的牺牲，作为人类联系的证明，希望能在星辰间回响，像时间之风中的一声低语，提醒人们，即使面对毁灭，希望和爱依然存在。

（Max (f32/f32) Q8_0，来自float 32源 - 最大量化，最高质量） 故障陀螺仪的有节奏的哀鸣声是凯伊一直以来唯一的陪伴，与那令人毛骨悚然的寂静形成了鲜明的对比。闪烁的红灯在他脸上投下了一幅诡异的频闪画面，模仿着他自己疯狂的心跳。外面，无垠的太空像一块巨大的画布，对在“伊卡洛斯号”狭小驾驶舱内展开的绝望挣扎漠不关心。他独自一人，是人类在宇宙墓场中最后的回声。

六个月前，“伊卡洛斯号”还是希望的灯塔，朝着半人马座比邻星b疾驰而去，肩负着地球的梦想。现在，它成了一座坟墓，一场灾难性的太阳耀斑夺走了全体船员的生命，只留下通讯官凯伊，不情愿地成为了它的守护者。

他盯着控制面板，上面堆满了失灵的控制台和闪烁的警告灯，每一个都证明了飞船系统的故障。电量储备已经降到了临界水平，也许只够进行一次最后的传输，在不可避免的寂静吞噬他之前发出最后一声绝望的呼喊。他不会轻易放弃，不会让他的故事、他们的故事消失在虚空中。

他戴着手套的手指悬停在远程通讯阵列的激活序列上。一阵寒意顺着他的脊梁骨爬下，不是因为寒冷，而是因为即将到来的重任。这不仅仅是发送求救信号；这是跨越难以想象的距离，向一个可能已经为他们哀悼的世界伸出援手。

他深吸一口气，强迫自己集中精力。消息必须简洁、有力，像一根救命稻草抛向深渊。他开始对着通讯设备口述，声音紧张但坚定，“这里是‘伊卡洛斯号’，最后一次传输……位置坐标……灾难性的太阳事件……船员……遇难……幸存者……”他的声音哽咽了，一声痛苦的抽泣差点脱口而出。他强忍着，让自己坚强起来。现在没有时间悲伤，不是现在。

“地球……如果你们收到这条消息……要知道我们战斗过……我们探索过……我们向星辰伸出了手……虽然我们的旅程在黑暗中结束，但人类的精神……它依然存在……记住我们的记忆……作为我们勇气和我们的……”

🔧 技术细节

模型融合

该模型是在层级别进行的高精度“DARE TIES”融合，对每个模型的每一层进行了调整（在4个模型上进行了168个调整点）。

量化技术

• 所有量化都采用了最新的LLAMACPP改进，提高了指令遵循和输出生成能力。
• 输出张量和嵌入进行了“更多位”升级，以提升性能。
• 新增了“max, max-cpu”等专门的量化版本，不同量化版本在输出质量、资源占用等方面有所不同。

📄 许可证

本项目采用Apache-2.0许可证。