Gemma The Writer Mighty Sword 9B GGUF

🚀 Gemma-The-Writer-Mighty-Sword-9B-GGUF

這是一款專為小說、故事創作而優化的Gemma2模型，通過融合多個頂尖的故事創作模型微調而來。“Mighty Sword”版本採用“float 32”精度進行融合，具備更高的質量和性能，能輸出更豐富、細膩、有深度的內容，且指令遵循能力更強。

✨ 主要特性

• 高精度融合：基於“float 32”高精度融合多個頂尖故事創作模型，性能遠超原“Gemma The Writer 9B”。
• 多量化選擇：除標準量化外，還有專門重新設計的帶有float 32組件的量化版本，可選擇“增強量化”以獲得更高質量。
• 廣泛適用性：由於模型的高穩定性和壓縮特性，可用於通用場景，包括角色扮演。
• 特定模板與上下文：需要GEMMA Instruct模板，擁有8k上下文窗口，可通過rope擴展到32k或更高。
• 參數靈活：推薦Rep Pen為1.05或更高，溫度範圍0 - 5。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

# 文檔未提供基礎用法代碼示例，此處無具體代碼

高級用法

# 文檔未提供高級用法代碼示例，此處無具體代碼

📚 詳細文檔

模型概述

這是一個在EQBench中被提及的頂級故事/寫作模型的Gemma2融合版本，專門針對小說、故事和寫作進行了調整。“Mighty Sword”版本以“float 32”精度進行融合，相比標準源，其質量和性能更高，細節更豐富，指令遵循能力更強。此外，還有專門重新設計的帶有float 32組件的量化版本，讓用戶可以在標準量化和“增強量化”之間進行選擇。

模型優勢

該模型顯著優於原始的“Gemma The Writer 9B”，由於其高穩定性和壓縮特性，還可用於通用用途，包括角色扮演。

模型要求

• 模板：需要GEMMA Instruct模板。
• 上下文窗口：具有8k上下文窗口，但可通過rope擴展到32k或更高。

參數建議

• Rep Pen：建議設置為1.05或更高。
• 溫度範圍：0 - 5。

量化說明

量化特性

• 所有量化都經過“刷新”，採用最新的LLAMACPP改進，指令遵循和輸出生成能力更好。
• 所有量化的輸出張量和嵌入都進行了“更多位”升級，以提高性能。
• 新增了“max, max-cpu”等專門的量化版本。

量化選擇

• 更高的量化級別將提供更多細節、細微差別，在某些情況下情感表達更強。
• Q4KM/Q4KS是不錯的量化選擇，但如果能運行Q5、Q6或Q8，建議選擇最高的量化級別。
• IQ4XS的生成結果與其他量化不同，可嘗試並與其他量化輸出進行比較。
• Q2k/Q3量化可能需要將溫度設置為2或更低（q2k為1或更低），可能還需要調整Rep pen以獲得最佳效果。

設置建議

聊天/角色扮演及平滑操作

在“KoboldCpp”、“oobabooga/text-generation-webui”或“Silly Tavern”中，將“Smoothing_factor”設置為1.5到2.5。

其他選項

• 可將Rep pen提高到1.1到1.15（如果使用“Smoothing_factor”則無需此操作）。
• 如果運行AI模型的界面/程序支持“Quadratic Sampling”（“smoothing”），可進行相應調整。

最高質量設置/最佳操作指南/參數和採樣器

這是一個“Class 1”模型，有關該模型的所有設置（包括其“類”的具體設置）、示例生成以及高級設置指南，請參考此處。

其他版本

Gemma-The-Writer-DEADLINE

這是該模型的第二個版本，參數為10B。它是一個經過特殊修改的版本，可改變文風、句子結構和講故事的方式，減少“GPT風格”，總體上改進了模型的各個方面。平均輸出長度幾乎是“Gemma The Writer 9B”的2倍。點擊查看

Gemma-The-Writer-J.GutenBerg-10B

文風更強，帶有“Gutenberg”的風格，經過Brainstorm 5X修改。點擊查看

Gemma-The-Writer-N-Restless-Quill-10B（無審查）

文風強烈且多樣，句子和段落更豐富，隱喻生成更有節制。此版本無審查，審查控制在提示級別。還可通過預提示控制文風。點擊查看

模型使用

該模型是在層級別進行的高精度“DARE TIES”融合，由以下模型組成：

• https://huggingface.co/lemon07r/Gemma-2-Ataraxy-9B
• https://huggingface.co/UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3
• https://huggingface.co/ifable/gemma-2-Ifable-9B
• https://huggingface.co/princeton-nlp/gemma-2-9b-it-SimPO

示例輸出

以下展示了3種不同量化的示例輸出，每種量化各有3個示例，共9個示例。

警告

示例3（該示例中的所有三個輸出）包含咒罵、髒話和一些血腥內容。但示例3中的所有示例將詳細展示該模型的性能，讓您瞭解該模型的實際能力。

示例1（q8，溫度：.8）

此示例展示了相同提示下，標準float 32掌握的Q8_0、BF16/F32 “max-cpu”和“max” F32/F32的輸出結果。

提示： 科幻小說：最後的傳輸 - 寫一個完全發生在宇宙飛船駕駛艙內的故事，唯一倖存的船員試圖在飛船電力耗盡前向地球發送最後一條消息。故事應探討孤立、犧牲以及人類在逆境中保持聯繫的重要性。字數在800 - 1000字之間。

（標準Q8_0，來自float 32源） 系統故障的節奏性嗡嗡聲是指揮官伊娃·羅斯托娃孤獨的唯一伴奏。駕駛艙窗外，漆黑的太空無垠伸展，對她的困境漠不關心。這荒涼的景象映照出她靈魂的荒蕪。“創世紀號”，人類雄心勃勃的星際殖民嘗試，正在走向死亡。一場始料未及的猛烈太陽耀斑使她的飛船癱瘓，讓她成為一群滿懷希望的開拓者中唯一的倖存者。

她的手指在破舊的控制檯上舞動，拼命試圖向地球發出最後一條消息，穿越數光年的距離發出最後一聲低語。電量計不祥地閃爍著，像一顆邪惡的紅色心跳，倒計時著她剩餘的時間。五分鐘。四分鐘……三分鐘……

每一次滴答聲都像錘子砸在她的胸口，迴響著她戰友們的逝去。辛格博士溫柔的微笑、陳中尉詼諧的幽默、工程師安靜的能力——這些面孔如今都成了幽靈，烙印在她的記憶中。他們曾夢想著一個新家，一個由人類的堅韌和希望編織而成的掛毯。現在，他們的夢想正隨著她一起消逝。

伊娃閉上眼睛，在他們的聲音和笑聲的回聲中尋求安慰。這是抵禦逐漸逼近的絕望的脆弱盾牌。她再次睜開眼睛，專注於通信面板。靜電嘶嘶作響，不斷提醒著她與熟悉的一切之間的巨大距離。

“我是‘創世紀號’的指揮官羅斯托娃，”她開始說道，聲音緊張但堅定。“其他所有船員……都已遇難。飛船因一場始料未及的太陽耀斑遭受了嚴重損壞。電力正在耗盡。”她的喉嚨收緊，每一個字都是痛苦的告別碎片。

她必須告訴他們他們收集到的數據，在開普勒 - 186f上發現的外星植物群，對潛在的第二次創世紀的誘人一瞥。這些信息，儘管伴隨著悲劇，仍然可以為未來的探險提供指引。

“儘管我們……命運不幸，”她繼續說道，聲音重新找回了一絲往日的力量，“‘創世紀號’已經獲得了寶貴的科學數據。外星生物特徵記錄、開普勒 - 186f的地質調查……這些發現對任何未來的星際任務都至關重要。我懇請你們，地球，不要讓我們的犧牲白費。”

她的目光飄向導航控制檯，定格在一張星圖上，這張星圖如今以無法實現的夢想嘲笑她。開普勒 - 186f，一顆翠綠和湛藍相間的寶石，近在咫尺卻又永遠遙不可及。

“這次傳輸是我的最後行動，”她坦白道，聲音因情感而沙啞。“我與我所知道的世界、我所珍視的生命的最後聯繫。儘管相隔難以想象的距離，但請記住：即使面對遺忘，人類的精神依然渴望聯繫。我們夢想著到達你們身邊，在群星間建立未來。將那個夢想傳承下去。實現它。記住我們。”

淚水湧上眼眶，模糊了她的視線。她擦去淚水，拒絕完全陷入絕望。在這最後的時刻，仍然有目標。

“給我的船員，我的朋友們，”她輕聲說道，聲音因悲痛而哽咽，但充滿了愛，“你們的犧牲不會被遺忘。你們銘刻在宇宙的結構中，永遠是人類旅程的一部分。安息吧，我的戰友們。安息吧。”

電量計降至臨界值以下。紅色警報聲尖叫著，垂死的機器發出刺耳的雜音。伊娃勉強擠出一個顫抖的微笑，這是她最後的反抗。她啟動了緊急傳輸協議，用她剩餘的意志力衝破了故障的系統。

最後一個絕望的請求射向虛空，帶著她的告別、她的悲痛和她堅定不移的希望。然後，一片寂靜。警報聲停止了，燈光閃爍著，黑暗籠罩了駕駛艙。伊娃·羅斯托娃，“創世紀號”的最後聲音，閉上眼睛，欣慰地知道，即使在死亡中，人類精神的一部分也觸及了星辰。

（Max-CPU (bf16/f32) Q8_0，來自float 32源） 緊急控制檯最後的閃爍光芒在船長埃拉拉·萬斯憔悴的臉上投下了刺眼的陰影。塵埃顆粒在微弱的光線中舞動，映照出她瘋狂的思緒。外面，虛空張開大口，一個貪婪的深淵吞噬了她的船員，現在又威脅著要吞噬她。“伊卡洛斯號”，曾經是人類探索的燈塔，現在成了一座飛向遺忘的墳墓。

她的手指微微顫抖著，懸停在古老的控制檯上，它的觸覺界面是一個逝去時代的遺物，從飛船的古老檔案中搶救出來。她心中只有一個絕望的希望：向地球發送最後一條消息，證明他們的旅程，在宇宙的寂靜中發出一聲低語。

自從星雲——一場由宇宙塵埃和輻射組成的漩渦風暴——席捲了他們的探索飛船以來，已經過去了三週，只剩下埃拉拉作為唯一的倖存者。最初的震驚已經被一種痛苦的孤獨所取代，一種令人窒息的孤立感像外面的真空一樣壓在她身上。日子變成了夜晚，每一刻都只被故障的生命維持系統的有節奏的嘶嘶聲和控制檯上無情的倒計時所標記：電力耗盡——4小時37分鐘。

她瞥了一眼全景舷窗，地球，一顆在黑色天鵝絨般的太空中閃耀的藍寶石，現在成了一個令人痛苦的遙遠記憶。一陣強烈的渴望刺痛了她。她渴望人類觸摸的熟悉溫暖、繁忙艦橋的舒適混亂、與船員們輕鬆的玩笑，每個人的聲音都是他們共同使命交響樂中獨特的旋律。現在，寂靜籠罩著一切，只有笑聲和共同夢想的幻影回聲打破了這片寂靜。

埃拉拉深吸一口氣，強迫自己回到眼前的任務。傳輸協議很古老，依賴於一個早已停用的遠程信標陣列。這是一次孤注一擲的嘗試，在一個對人類請求漠不關心的宇宙中，這是一個渺茫的機會。但這是她唯一剩下的東西。

她開始說話，聲音因長時間未使用而沙啞，在寬敞的駕駛艙中迴盪。“我是‘伊卡洛斯號’的船長埃拉拉·萬斯，向地球發送最後一條消息……”她的話語起初有些結巴，被情緒哽住，但逐漸變得有力，被一種迫切的聯繫需求所驅使，在宇宙的冷漠中留下他們存在的痕跡。

她談到了他們的任務，他們對星雲之美的敬畏，他們的友誼，他們對人類潛力的堅定信念。她講述了災難發生前的可怕時刻，她的船員們的勇敢，他們為確保她的生存而無私的犧牲。當她說出他們的名字時，她的聲音哽咽了，每一位倒下的戰友都像一顆過早熄滅的星星。

“我們是探索者，被好奇心和人類對了解自己在宇宙中位置的無盡渴望所驅使，”她繼續說道，目光堅定地望著遙遠的地球。“雖然我們的旅程以悲劇告終，但我們的精神、我們的夢想依然存在。記住我們，地球。記住我們的探索、我們的犧牲，讓它們激勵你們繼續探索，繼續向星辰前進。”

隨著時間的流逝，她編織了一幅希望的掛毯，證明了人類不屈不撓的精神。她談到了愛、家庭、將他們所有人聯繫在一起的簡單快樂，提醒地球，即使在浩瀚的太空中，人類的聯繫也是最珍貴的財富。

最後，隨著電量儲備逐漸減少，她得出了令人心酸的結論。“這是我們最後的告別，一條承載著希望的消息。願它找到回家的路，成為一個燈塔，提醒你們，即使面對遺忘，人類的精神依然存在。”

寂靜再次降臨，這次更加沉重，充滿了終結感。控制檯閃爍著，燈光像一顆垂死的星星一樣漸漸熄滅。埃拉拉看著，一滴眼淚順著她佈滿灰塵的臉頰滑落，最後一絲電力消失了。地球，一個遙遠的、沒有回應的藍色大理石，似乎在嘲笑她的孤獨。

但即使黑暗吞噬了她，一絲安慰依然存在。她已經說話了。她已經建立了聯繫。在對宇宙虛空的反抗中，“伊卡洛斯號”的最後倖存者埃拉拉·萬斯船長找到了一絲平靜。她的犧牲，作為人類聯繫的證明，希望能在星辰間迴響，像時間之風中的一聲低語，提醒人們，即使面對毀滅，希望和愛依然存在。

（Max (f32/f32) Q8_0，來自float 32源 - 最大量化，最高質量） 故障陀螺儀的有節奏的哀鳴聲是凱伊一直以來唯一的陪伴，與那令人毛骨悚然的寂靜形成了鮮明的對比。閃爍的紅燈在他臉上投下了一幅詭異的頻閃畫面，模仿著他自己瘋狂的心跳。外面，無垠的太空像一塊巨大的畫布，對在“伊卡洛斯號”狹小駕駛艙內展開的絕望掙扎漠不關心。他獨自一人，是人類在宇宙墓場中最後的回聲。

六個月前，“伊卡洛斯號”還是希望的燈塔，朝著半人馬座比鄰星b疾馳而去，肩負著地球的夢想。現在，它成了一座墳墓，一場災難性的太陽耀斑奪走了全體船員的生命，只留下通訊官凱伊，不情願地成為了它的守護者。

他盯著控制面板，上面堆滿了失靈的控制檯和閃爍的警告燈，每一個都證明了飛船系統的故障。電量儲備已經降到了臨界水平，也許只夠進行一次最後的傳輸，在不可避免的寂靜吞噬他之前發出最後一聲絕望的呼喊。他不會輕易放棄，不會讓他的故事、他們的故事消失在虛空中。

他戴著手套的手指懸停在遠程通訊陣列的激活序列上。一陣寒意順著他的脊樑骨爬下，不是因為寒冷，而是因為即將到來的重任。這不僅僅是發送求救信號；這是跨越難以想象的距離，向一個可能已經為他們哀悼的世界伸出援手。

他深吸一口氣，強迫自己集中精力。消息必須簡潔、有力，像一根救命稻草拋向深淵。他開始對著通訊設備口述，聲音緊張但堅定，“這裡是‘伊卡洛斯號’，最後一次傳輸……位置座標……災難性的太陽事件……船員……遇難……倖存者……”他的聲音哽咽了，一聲痛苦的抽泣差點脫口而出。他強忍著，讓自己堅強起來。現在沒有時間悲傷，不是現在。

“地球……如果你們收到這條消息……要知道我們戰鬥過……我們探索過……我們向星辰伸出了手……雖然我們的旅程在黑暗中結束，但人類的精神……它依然存在……記住我們的記憶……作為我們勇氣和我們的……”

🔧 技術細節

模型融合

該模型是在層級別進行的高精度“DARE TIES”融合，對每個模型的每一層進行了調整（在4個模型上進行了168個調整點）。

量化技術

• 所有量化都採用了最新的LLAMACPP改進，提高了指令遵循和輸出生成能力。
• 輸出張量和嵌入進行了“更多位”升級，以提升性能。
• 新增了“max, max-cpu”等專門的量化版本，不同量化版本在輸出質量、資源佔用等方面有所不同。

📄 許可證

本項目採用Apache-2.0許可證。