MN DARKEST UNIVERSE 29B GGUF

🚀 MN-DARKEST-UNIVERSE-29B-GGUF - 獨角獸模型

MN-DARKEST-UNIVERSE-29B-GGUF是一款基於Mistral Nemo架構的模型，具備強大的文本生成能力，最大上下文長度達131,000+。該模型適用於各種寫作、故事創作和角色扮演等場景，能夠生成具有高度細節和豐富情感的文本內容。

🚀 快速開始

MN-DARKEST-UNIVERSE-29B-GGUF“黑暗宇宙”是一款Mistral Nemo模型，最大上下文長度超過131,000。該模型設計穩健，能在多種參數設置下運行，溫度設置範圍為0到5。

✨ 主要特性

• 強大的文本生成能力：能夠生成具有高度細節和豐富情感的文本內容，適用於各種寫作、故事創作和角色扮演等場景。
• 廣泛的參數適應性：能在多種參數設置下運行，包括溫度設置從0到5，可根據不同需求調整輸出風格。
• 獨特的創作風格：具有獨特的創作風格，能夠生成具有獨特結構、句子和段落的文本，有時還會有“事件預告”或“伏筆”。
• 高度的指令遵循性：對指令的遵循性強，能夠根據用戶的提示生成符合要求的文本內容。
• 豐富的情感表達：能夠表達出豐富的情感，包括幽默、憤怒、悲傷等，使生成的文本更具感染力。

📦 安裝指南

該文檔未提及具體的安裝步驟，如有需要，請參考相關技術文檔或社區論壇。

💻 使用示例

基礎用法

以下是使用該模型生成的一些示例文本，展示了其在不同場景下的應用能力：

• 科幻故事：《最後的傳輸》，講述了一艘宇宙飛船的唯一倖存船員在飛船電力耗盡前向地球發送最後消息的故事，探索了孤獨、犧牲和人類聯繫的重要性。
• 浪漫故事：《聚光燈下的愛情》，講述了一位著名演員為躲避狗仔隊躲進一家小鎮書店，與書店老闆相遇併產生微妙化學反應的故事。
• 恐怖故事：《摩天大樓的恐怖》，以第一人稱視角描述了一位女性在摩天大樓發生爆炸時的恐怖經歷。
• 反叛故事：《反叛的年輕女子》，講述了一位反叛的年輕女子領導反抗獨裁統治的故事，展示了她的勇氣和決心。

高級用法

通過調整溫度和重複懲罰等參數，可以進一步優化模型的輸出效果。例如，提高溫度可以增加文本的多樣性和創造性，而調整重複懲罰可以控制文本的重複性。

📚 詳細文檔

模型使用注意事項

• 調整參數以獲得更多樣化的散文風格：若想獲得更多樣化的散文（句子/段落/對話），可提高溫度並/或在提示中添加更多指令。
• 角色扮演時謹慎調整溫度：對於角色扮演玩家，需謹慎提高溫度，以免影響指令遵循性。
• 重複懲罰設置：該模型適用於重複懲罰為1.02或更高的設置。
• 特定風格的提示：若需要特定類型的散文（如恐怖風格），可在提示中添加“(生動恐怖)”或“(生動的血腥恐怖)”（不帶引號）。
• 默認負向偏差：該模型默認具有負向偏差，但可通過提示進行控制。
• 不同量化版本的差異：對於創意用途，不同的量化版本可能會產生略有不同的輸出。
• 源代碼發佈：該模型的源代碼將很快上傳到單獨的倉庫。

設置、量化和關鍵操作說明

• 文本輸出調整：該模型經過“頭腦風暴”修改，以改變散文輸出，通常輸出的文本比平均長度更長。
• 溫度對輸出的影響：溫度的變化（如0.4、0.8、1.5、2、3）將顯著改變輸出。
• 重複懲罰設置的影響：重複懲罰設置也會影響輸出。該模型需要“重複懲罰”為1.05或更高，較低的值可能會導致輸出末尾出現重複段落問題，但較低的重複懲罰值也可能產生非常不同（創意/不尋常）的生成結果。
• 角色扮演的重複懲罰建議：對於角色扮演，建議重複懲罰最小值為1.05，但1.1到1.14更佳。
• 緩慢調整重複懲罰：緩慢調整重複懲罰，如1.011、1.012等。重複懲罰將影響散文、詞彙選擇（較低的重複懲罰=有時更多小詞）和創造力。
• 強力推動模型的設置：若要強力推動模型，可設置重複懲罰為1.05+或更低，溫度為3+，但需準備好停止輸出，因為在這些強設置下模型可能會持續輸出。
• 設置最大令牌生成：也可以設置“硬停止” - 最大令牌生成，以應對較低的重複懲罰設置/高創造力設置。
• 長提示提升輸出質量：較長的提示將大大提高模型的輸出質量。

量化說明

• 高量化版本的優勢：較高的量化版本將具有更多細節、細微差別，在某些情況下具有更強的“情感”水平，角色也會更加“豐滿”，“身臨其境”的感覺也會增強。
• Q4KM/Q4KS量化版本：Q4KM/Q4KS是不錯的量化版本，但如果可以運行Q5、Q6或Q8，建議選擇最高的量化版本。
• IQ4XS量化版本：由於IQ4XS量化版本的特殊性（混合/處理方式），其生成的結果將與其他量化版本不同，建議嘗試並與其他量化版本的輸出進行比較。
• Q2k/Q3量化版本的注意事項：使用Q2k/Q3量化版本時，可能需要將溫度設置為2或更低（Q2k為1或更低），因為該級別壓縮過大，可能會損壞模型。同時，可能需要調整重複懲罰以充分發揮模型性能。
• ARM量化版本：該倉庫提供了3種適用於ARM計算機的量化版本，若在非ARM計算機上使用這些量化版本，每秒令牌數將非常低。

上下文轉移/ROPE/“亂碼”注意事項

特別注意“上下文轉移”/“ROPE”（特別是Koboldai）：請勿對該模型使用“上下文轉移”或ROPE，否則可能會損壞輸出生成。

設置：聊天/角色扮演和/或模型的更流暢操作

在“KoboldCpp”、“oobabooga/text-generation-webui”或“Silly Tavern”中，將“平滑因子”設置為1.5到2.5：

• 在KoboldCpp中：設置->採樣器->高級->“平滑_F”。
• 在text-generation-webui中：參數->右下角。
• 在Silly Tavern中：稱為“平滑”。

注意：對於“text-generation-webui”，如果使用GGUFs，需要使用“llama_HF”（這涉及從該模型的源版本下載一些配置文件）。

最高質量設置/最佳操作指南/參數和採樣器

該模型屬於“3類”/“4類”模型，有關該模型的所有設置（包括其“類別”的具體設置）、示例生成以及高級設置指南（通常可解決任何模型問題），包括提高所有用例（包括聊天、角色扮演等）模型性能的方法，請參考：https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters

🔧 技術細節

模型基礎

該模型基於“MN-WORDSTORM-pt8-RCM-Emotion-Action-18.5B-Instruct”的修改版本，使用了David_AU開發的Brainstorm 40x（v2）方法，對模型的散文輸出和能力進行了大幅改變。同時，將模型擴展了40層（至102層），達到29B參數（921張量）。

模型融合

該模型基於四個頂級模型（包括Mistral Nemo Instruct），使用多步/多模型融合過程。具體涉及以下模型：

• mistralai/Mistral-Nemo-Instruct-2407
• TheDrummer/Rocinante-12B-v1.1
• anthracite-org/magnum-v2.5-12b-kto
• nothingiisreal/MN-12B-Celeste-V1.9
• DavidAU/MN-18.5B-Celeste-V1.9-Story-Wizard-ED1-Instruct
• DavidAU/MN-magnum-v2.5-18.5B-kto-Instruct
• DavidAU/MN-Rocinante-18.5B-v1.1-Instruct

使用“MERGEKIT”進行融合，具體配置如下：

models:
  - model: DavidAU/MN-Rocinante-18.5B-v1.1-Instruct
  - model: DavidAU/MN-magnum-v2.5-12b-kto-Instruct
    parameters:
      weight: .6
      density: .8
  - model: DavidAU/MN-18.5B-Celeste-V1.9-Instruct
    parameters:
      weight: .38
      density: .6
merge_method: dare_ties
tokenizer_source: union
base_model: DavidAU/MN-Rocinante-18.5B-v1.1-Instruct
dtype: bfloat16

特殊說明

即使使用上述融合套件模板和模型，也無法創建與“黑暗宇宙29B”中使用的基礎模型完全相同的版本，因為該基礎模型還添加了Brainstorm 40X V2適配器。需要使用：https://huggingface.co/DavidAU/MN-WORDSTORM-pt8-RCM-Emotion-Action-18.5B-Instruct

原因是該“基礎”模型（與Brainstorm 40x V2一起使用）是使用Mergekit中的DARE TIES方法創建的，但這種融合（使用此設置）會激活“隨機修剪”，每次運行此融合套件模板時都會改變模型。

📄 許可證

該模型採用Apache-2.0許可證。

注意事項

• 內容警告：該模型生成的內容可能包含不適合所有受眾的內容，包括暴力、恐怖、髒話等，請謹慎使用。
• 參數調整：在使用模型時，建議根據具體需求調整溫度和重複懲罰等參數，以獲得最佳的輸出效果。
• 數據來源：該模型的訓練數據來源未在文檔中提及，如有需要，請參考相關技術文檔或社區論壇。

致謝

特別感謝模型開發者“mistralai”、“TheDrummer”、“anthracite-org”和“nothingiisreal”的傑出工作。