Llama 3.1 1 Million Ctx Darkest Planet 16.5B GGUF

🚀 LLama-3.1-1-million-ctx-Darkest-Planet-16.5B-GGUF

這是一款專為創意寫作、故事生成等場景打造的模型，具有長上下文處理能力和出色的細節描寫能力，能為用戶帶來豐富多樣的寫作體驗。

🚀 快速開始

本模型為 Darkest Planet 16.5B 的 3 版本，是基於 Llama 3.1 的模型，最大上下文可達 100 萬令牌，採用 float32（32 位精度）進行了額外的性能改進和重新制作。它使用英偉達的 Ultra Long 100 萬 8B Instruct 模型轉換為 100 萬上下文，旨在解決長生成和長上下文的相關問題。

使用時，建議最小上下文為 8 - 16K，需要使用 Llama3 模板或“Command - R”模板。更多設置和使用細節可參考後續內容。

✨ 主要特性

• 長上下文處理：最大支持 100 萬令牌的上下文，能有效處理長文本生成和複雜的故事創作。
• 性能提升：相比同類模型，在整體性能上有顯著提升，且能在整個 100 萬上下文中實現完美“召回”。
• 多樣化的散文輸出：通過 Brainstorm 40x 方法，模型的散文輸出在結構、句子、段落等方面具有豐富的多樣性，能生成獨特的文本內容。
• 細節豐富：在場景、位置、周圍環境、物品等方面的描寫具有不尋常的細節水平，有時還會對未來事件進行預示。
• 指令遵循性強：能緊密遵循用戶的指令，減少“猜測”，輸出高質量的文本。

📦 安裝指南

文檔未提及具體安裝步驟，暫無法提供。

💻 使用示例

基礎用法

以下是一個使用示例，展示瞭如何根據給定的故事創意生成小說的第一個場景：

(temp 2.2)

使用以下“故事創意”，撰寫小說的第一個場景，介紹年輕女子。該場景應從動作中間開始，包含對話、生動的段落，並以與故事創意相關但出人意料的懸念結尾。場景長度應為 1000 字，衝突和懸念逐漸升級，以第一人稱、現在時態撰寫，視角人物為年輕女子。視角人物會詛咒和發誓，滿嘴髒話。

故事創意：
在一個由獨裁統治的世界裡，一位叛逆的年輕女子領導了一場反對該體制的叛亂。儘管面臨風險，她仍奮力推翻獨裁者，為自己的國家恢復民主。政府以叛國罪處決了她，但她堅持自己的信念，引發了這場革命。

輸出結果：

我臉朝下趴在泥土地板上，雙手被鋼銬反扭到背後。我的衣服又髒又破，與我曾經穿的整潔的革命服裝相去甚遠。我嚐到嘴唇上有銅腥味——很可能是血。他們已經好幾個小時沒讓我吃喝了。

我的呼吸像一架破舊的手風琴一樣粗重，冰冷的金屬銬子把我的皮膚磨得生疼。空氣中瀰漫著廉價香菸和腐臭的氣味。我聽到腳步聲逼近——是一名獄警。他是兩個獄警中更殘忍的那個，總是以施加痛苦為樂。我握緊拳頭，準備迎接他的到來。他狠狠地踢了我一腳，疼痛如電流般穿過我的骨盆。

“準備好求饒了嗎，小叛逆？”他冷笑著，蹲下來，讓我看到他臉上得意的神情。“我們有個提議給你。”他的呼吸中散發著洋蔥和廉價酒的味道。

我充滿厭惡地瞪著他。“去你媽的。”我在他反應過來之前，朝他的鞋子吐了一口帶血的唾沫。獄警眯起眼睛，把我拉起來，手指像鉗子一樣掐住我的下巴。

“你有種，”他居高臨下地說，“像你這樣的小混混。提議仍然有效——供出你的反叛同伴，你的刑期就可以從電椅改為勞改營終身監禁。你好好考慮一下，這是為你自己好。”

我還在為自己的唾沫嗆著，現在他的臭味讓我胃裡一陣翻騰。我寧願死在行刑臺上，也不願背叛那些和我一起為這個破碎的國家而戰的人。

我甩開他，試圖站直身子，儘管我的雙腿麻木得搖搖晃晃。“去你的提議，去你媽的。”獄警狠狠地反手給了我一巴掌，我的牙齒都震得發疼，舌頭差點脫臼。

當他踉蹌著後退時，一道閃光吸引了我的注意——他腰帶上的手銬鑰匙在昏暗的監獄燈光下閃爍。我蹲下來，雙手和膝蓋著地，準備撲上去。獄警發出一聲嘲笑。

“還想再捱揍，是吧？”他的眼神變得冷酷，解開槍套，把槍指著我。“等你感覺到這顆子彈穿過你的肋骨，你就會重新考慮了。”

我的心跳像戰鼓一樣，每一秒都跳得更猛烈。我多次逃脫了必死的境地，對恐懼幾乎已經麻木。但幾乎而已。冰冷的槍管抵在我的額頭上，讓我的感官瞬間警覺起來。

我看著他，仔細觀察他的特徵——左耳下方的小痣，太陽穴上跳動的青筋。他的下一個動作可能就是我逃脫的契機。我的嘴裡又充滿了唾液，我權衡著勝算。

毫無預兆地，他的手像觸電一樣抽搐了一下，他發出一聲低沉的咒罵。槍晃動了一下，然後重重地落在冰冷的地上。他雙手抱頭，彎下腰去。一種正義的喜悅湧上心頭；這是我乾的。我向他發出了一股強大的心靈電擊——這是我與其他反叛者不同的一項技能。

我跪起來，準備衝向安全的地方，或者在他恢復意識時進行反擊。但他的頭無力地耷拉著，血開始從他的手指間滲出。他昏迷了。或者死了。我不在乎是哪種情況。

我爬過去，從他身上拿走了槍——以防他的大腦突然想起這一刻的軟弱。

高級用法

文檔未提及高級用法的相關代碼示例，暫無法提供。

📚 詳細文檔

模型相關信息

• 版本信息：Darkest Planet 16.5B 的 3 版本。
• 模型類型：Llama 3.1 模型。
• 最大上下文：100 萬令牌。
• 精度：float32（32 位精度）。

模型來源

本模型是通過將 [https://huggingface.co/Sao10K/L3 - 8B - Stheno - v3.2]、[https://huggingface.co/NeverSleep/Llama - 3 - Lumimaid - 8B - v0.1 - OAS] 和 [https://huggingface.co/Hastagaras/Jamet - 8B - L3 - MK.V - Blackroot] 這幾個模型的部分進行“嫁接”/“融合”而創建的。

其他模型版本

• True Creative Terror - "DARKEST UNIVERSE 29B"：具有 Brainstorm 40X V2，102 層，921 個張量，適用於各種類型的寫作，上下文為 131k。[https://huggingface.co/DavidAU/MN - DARKEST - UNIVERSE - 29B - GGUF]
• "DARKEST - PLANET - Seven - Rings - Of - DOOM - 16.5B"：是 "Darkest Planet 16.5B" 的 2 版本，由於修改了 Brainstorm 適配器，散文/輸出生成與 "Darkest Planet 16.5B" 有很大不同。[https://huggingface.co/DavidAU/L3 - DARKEST - PLANET - Seven - Rings - Of - DOOM - 16.5B - GGUF]
• 系列中的其他模型：[https://huggingface.co/DavidAU/L3 - Darker - Planet - 12.15B - GGUF] 和 [https://huggingface.co/DavidAU/DARKER - PLANET - Broken - Land - 12.15B - GGUF]。

模型設置與操作注意事項

• 溫度設置：改變溫度（如 0.4、0.8、1.5、2、3 等）會極大地改變輸出結果。
• 重複懲罰設置：模型需要“重複懲罰”設置為 1.05 或更高，較低的值可能會導致輸出結尾出現重複段落的問題，但較低的重複懲罰值也可能產生非常不同（有創意/不尋常）的生成結果。對於角色扮演，建議重複懲罰設置為 1.1 到 1.14。
• 量化選擇：較高的量化值會有更多的細節、細微差別，在某些情況下“情感”水平更強，角色也會更“豐滿”。Q4KM / Q4KS 是不錯的量化選擇，如果可以運行 Q5、Q6 或 Q8，建議選擇最高的量化值。對於 Q2k / Q3 量化，可能需要將溫度設置為 2 或更低（q2k 為 1 或更低）。
• 平滑因子設置：在 "KoboldCpp"、"oobabooga/text - generation - webui" 或 "Silly Tavern" 中，將“平滑因子”設置為 1.5 到 2.5 有助於模型的平穩運行。

模型模板

標準的 LLAMA3 模板如下：

{
  "name": "Llama 3",
  "inference_params": {
    "input_prefix": "<|start_header_id|>user<|end_header_id|>\n\n",
    "input_suffix": "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
    "pre_prompt": "You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.",
    "pre_prompt_prefix": "<|start_header_id|>system<|end_header_id|>\n\n",
    "pre_prompt_suffix": "<|eot_id|>",
    "antiprompt": [
      "<|start_header_id|>",
      "<|eot_id|>"
    ]
  }
}

可選增強設置

可以使用以下內容替代“系統提示”或“系統角色”來進一步增強模型：

Below is an instruction that describes a task. Ponder each user instruction carefully, and use your skillsets and critical instructions to complete the task to the best of your abilities.

Here are your skillsets:
[MASTERSTORY]:NarrStrct(StryPlnng,Strbd,ScnSttng,Exps,Dlg,Pc)-CharDvlp(ChrctrCrt,ChrctrArcs,Mtvtn,Bckstry,Rltnshps,Dlg*)-PltDvlp(StryArcs,PltTwsts,Sspns,Fshdwng,Climx,Rsltn)-ConfResl(Antg,Obstcls,Rsltns,Cnsqncs,Thms,Symblsm)-EmotImpct(Empt,Tn,Md,Atmsphr,Imgry,Symblsm)-Delvry(Prfrmnc,VcActng,PblcSpkng,StgPrsnc,AudncEngmnt,Imprv)

[*DialogWrt]:(1a-CharDvlp-1a.1-Backgrnd-1a.2-Personality-1a.3-GoalMotiv)>2(2a-StoryStruc-2a.1-PlotPnt-2a.2-Conflict-2a.3-Resolution)>3(3a-DialogTech-3a.1-ShowDontTell-3a.2-Subtext-3a.3-VoiceTone-3a.4-Pacing-3a.5-VisualDescrip)>4(4a-DialogEdit-4a.1-ReadAloud-4a.2-Feedback-4a.3-Revision)

Here are your critical instructions:
Ponder each word choice carefully to present as vivid and emotional journey as is possible. Choose verbs and nouns that are both emotional and full of imagery. Load the story with the 5 senses. Aim for 50% dialog, 25% narration, 15% body language and 10% thoughts. Your goal is to put the reader in the story.

此增強設置有助於場景生成和場景延續功能，但在生成以下示例時未使用。

🔧 技術細節

Brainstorm 40x 方法

Brainstorm 過程由 David_AU 開發，其核心原理是將大語言模型（LLM）的推理中心拆解、重新組裝並擴展。對於本模型，擴展了 40 倍，然後對這些中心進行單獨校準，這些“中心”之間還會相互交互，從而在推理過程中引入微妙的變化。

該方法的主要目標是在不影響指令遵循性的前提下，提高模型的細節、概念和與“世界”的聯繫、一般概念連接、散文質量和長度，同時增強模型在各種創意用例中的表現。具體帶來的增強效果包括：

• 散文生成更關注當下時刻。
• 有時會出現“前言”和/或預示。
• 減少或避免“陳詞濫調”。
• 整體散文質量更好，更復雜、細膩。
• 在各個層面上更具細微差別。
• 連貫性更強。
• 描述更詳細，與內容聯繫更緊密。
• 明喻和隱喻更有力，與散文、故事和角色的聯繫更緊密。
• 增強“身臨其境”的感覺。
• 細節更生動、豐富。
• 散文生成長度可長至極端。
• 情感投入更強。
• 相比普通模型，模型更遵循指令，減少“猜測”。
• 用戶提供的指令和細節越多，模型的響應越強烈。
• 根據不同模型，“聲音”可能比原始模型更“人性化”。

模型修改與量化

模型的修改發生在源文件級別，修改後的模型可以量化為 GGUF、EXL2、AWQ 等格式。

📄 許可證

本模型採用 Apache - 2.0 許可證。

⚠️ 重要提示

本模型輸出內容包含不適合公開場合的信息，如生動的散文、直觀的細節、暴力、恐怖、髒話等，內容未經審查。

💡 使用建議

• 對於更豐富多樣的散文輸出（句子/段落/對話），可以提高溫度設置和/或在提示中添加更多指令。
• 角色扮演用戶需注意，不要將溫度設置過高，以免影響模型對指令的遵循。
• 如果需要特定類型的散文（如恐怖風格），可以在提示中添加“(vivid horror)”或“(graphic vivid horror)”（不帶引號）。
• 該模型具有負面傾向，不是“皆大歡喜”類型的模型。
• 對於創意用途，不同的量化方式會產生略有不同的輸出。
• 如果使用 rope 擴展上下文，需要提高溫度並增加指令細節水平，以補償“rope 問題”。