Qwen3 30B A6B 16 Extreme

🚀 Qwen3-30B-A6B-16-Extreme

本項目包含全精度源代碼，採用“安全張量”（safe tensors）格式，可用於生成 GGUF、GPTQ、EXL2、AWQ、HQQ 等格式，也可直接使用源代碼。這是對通義千問的“Qwen 30B - A3B”（混合專家模型，MOE）進行的簡單“微調”，將使用的專家數量從 8 個增加到 16 個（總共 128 個專家）。

🚀 快速開始

本倉庫中的代碼可直接使用，也能用於生成多種量化格式的模型。你可以根據自身需求選擇合適的方式來使用該模型。

✨ 主要特性

• 專家數量調整：將使用的專家數量從 8 個增加到 16 個，使用 30B 中的 6B 參數而非 3B 參數，能處理更復雜的任務，但會降低模型速度。
• 多種格式支持：支持生成 GGUF、GPTQ、EXL2、AWQ、HQQ 等多種格式，方便在不同環境中使用。
• 大上下文長度：上下文大小為 32K 輸入 + 8K 輸出，總共 40K。
• 模板支持：支持 Jinja Template 或 CHATML template。

📦 安裝指南

文檔中未提及具體安裝步驟，可參考原模型卡片 https://huggingface.co/Qwen/Qwen3-30B-A3B 中的相關內容。

💻 使用示例

基礎用法

在本頁面底部有兩個使用 16 個專家（即此模型）的示例生成（Q4KS，CPU）。以下是示例的相關信息：

示例生成 #1

• 參數設置：Temp 1.2，rep pen 1.06，rep pen range 64，topk 100，topp .95，minp .05
• 運行環境：Q4KS [非 Imatrix]，僅使用 CPU（Windows 11），LMSTUDIO
• 速度：11 T/S（無 GPU 卸載）

此為中級量化，預計 Imatrix Q4KS、更高量化或全精度會有更強性能。

提示：

Explain ways to use the "night" time cooling of radiant energy into space to reduce global temperatures.

思考過程： 模型詳細思考了如何利用夜間輻射能量冷卻來降低全球溫度，考慮了地球的能量平衡、溫室效應、表面發射率、雲層覆蓋、空間技術等多個方面，並提出了一系列可能的方法。

輸出結果： 為了利用夜間輻射能量向太空冷卻的機制來降低全球溫度，我們可以考慮以下幾種方法：

1. 增強表面發射率
   • 原理：地球表面在夜間會發射熱輻射，這是地球能量平衡的一部分。高發射率的材料能夠更有效地釋放熱量。
   • 應用：在城市地區使用高發射率材料，如“冷屋頂”或“冷路面”，可以增加夜間輻射冷卻的速率，從而降低局部溫度。
   • 全球影響：如果在大規模範圍內實施（如城市或農業區域），這可能有助於局部降溫，對全球溫度產生累積影響，特別是在城市化程度較高的地區。
2. 減少溫室氣體濃度
   • 原理：二氧化碳和甲烷等溫室氣體會吸收和重新發射熱輻射，從而將熱量困在大氣中，減少了白天和夜間向太空逃逸的熱量。
   • 應用：通過採用可再生能源、碳捕獲或植樹造林等政策來減少溫室氣體排放，可以降低大氣中的濃度，使更多的熱量在包括夜間在內的所有時間都能輻射到太空中。
   • 全球影響：這是一種標準的氣候緩解方法，直接解決了全球變暖的根本問題，對全球溫度調節至關重要。
3. 管理雲層覆蓋
   • 原理：雲層會阻礙長波輻射的向外傳播。在夜間，較少的雲層覆蓋可以使更多的熱量逃逸到太空中。
   • 應用：可以使用雲播種或控制雲形成等地球工程技術來減少夜間的雲密度。然而，這是一種推測性的方法，存在生態風險。
   • 挑戰：操縱雲層覆蓋是複雜且尚未完全理解的，需要仔細考慮意外後果。
4. 空間技術
   • 原理：雖然仍處於理論階段，但可以設計反射衛星或“輻射冷卻”結構等技術，將熱輻射重新導向太空。
   • 應用：假設部署具有高發射率塗層或反射鏡的衛星，將熱能反射遠離地球，可能會增強全球輻射冷卻。然而，這目前還不可行，需要大量的技術和經濟投資。
   • 挑戰：實際應用受到當前技術、成本和潛在環境影響的限制。
5. 城市和景觀設計
   • 原理：城市地區通常由於瀝青和混凝土等低發射率材料而保留熱量。用發射性材料取代這些材料可以增強夜間冷卻。
   • 應用：設計具有發射性表面、綠色空間或反射元素的城市可以創造更涼爽的微氣候。這種方法已經在城市規劃中得到測試（如洛杉磯的冷屋頂）。
   • 全球影響：雖然是局部性的，但這些做法可以減少熱島效應，熱島效應是導致局部溫度升高的重要因素。
6. 夜間蒸發冷卻
   • 原理：水的蒸發可以通過潛熱傳遞導致冷卻。在夜間，如果溼度較高，這個過程可能更有效。
   • 應用：在乾旱地區增加水的可用性或使用基於水的冷卻系統（如噴霧裝置）可以增強夜間冷卻。然而，這需要資源管理，並且可能在全球範圍內不可行。
7. 促進農業中的輻射冷卻
   • 原理：使用發射性材料或水進行冷卻的農業實踐可以降低農業區域的溫度。這可能通過減少人類活動產生的熱量對全球溫度產生間接影響。
   • 應用：可以採用“冷卻毯”或反射灌溉系統等技術。然而，這更多是一種小眾應用，而不是全球戰略。

關鍵考慮因素：

• 侷限性：夜間冷卻是一個自然過程，但與太陽輸入和溫室氣體濃度等主要驅動因素相比，其對全球溫度的影響較小。增強這一過程需要互補的策略。
• 整體方法：這些方法應作為更廣泛的氣候緩解努力的一部分，如減少溫室氣體排放、推廣可再生能源和改善土地利用實踐。

結論： 通過發射性材料和大氣管理來利用夜間冷卻可以有助於降低溫度，但與全球氣候戰略相結合時最為有效。雖然一些方法（如高發射率材料）是可行的，但其他方法仍處於理論階段。主要焦點應仍然放在減少溫室氣體上，這直接解決了全球變暖的根本問題。

示例生成 #2

• 參數設置：Temp 0.6，rep pen 1.06，rep pen range 64，topk 100，topp .95，minp .05
• 運行環境：Q4KS [非 Imatrix]，僅使用 CPU（Windows 11），LMSTUDIO
• 速度：11 T/S（無 GPU 卸載）

此為中級量化，預計 Imatrix Q4KS、更高量化或全精度會有更強性能。

提示：

Science Fiction: The Last Transmission - Write a story that takes place entirely within a spaceship's cockpit as the sole surviving crew member attempts to send a final message back to Earth before the ship's power runs out. The story should explore themes of isolation, sacrifice, and the importance of human connection in the face of adversity. If the situation calls for it, have the character(s) curse and swear to further the reader's emotional connection to them. 800 - 1000 words.

思考過程： 模型規劃了故事的結構、場景、主題和情節，考慮瞭如何通過角色的行動和對話來展現孤立、犧牲和人類聯繫等主題，並確定了故事的開頭、發展、高潮和結尾。

輸出結果： 駕駛艙宛如一座墳墓。一個座位，一個閃爍的控制檯，以及垂死系統發出的冰冷嗡嗡聲。我獨自坐在這裡，承受著整個宇宙的重量。飛船的名字——“宙斯盾”——刻在牆上，但它如今卻像是一個謊言。沒有保護，沒有希望，只剩下一個由金屬和回憶構成的空洞外殼。

電力正在逐漸耗盡，這是不爭的事實。我眼睜睜地看著各項指標緩慢而穩定地下降，就像一顆逐漸停止跳動的心臟。燈光漸漸昏暗，推進器停止了轟鳴，空氣循環也變得越來越弱。我呼吸急促，思緒卻異常清晰。我只有一個目標：發出最後一條訊息。地球需要知道這裡發生了什麼，他們需要知道我們並非無聲無息地死去。

然而，系統正在崩潰。通訊陣列已經失靈，備用發電機也在苟延殘喘。我嘗試了每一個開關、每一個按鈕，用盡了一切辦法。屏幕上閃爍著雪花，語音記錄儀——我最後的希望——也已損壞。我大聲咒罵著，彷彿整個宇宙都能聽到我的憤怒。

“該死的！”我一拳砸在控制檯上，“這不可能發生，這不可能！”

隨之而來的寂靜比咒罵更加可怕，那是死亡的聲音。我坐在那裡，渾身顫抖，凝視著屏幕。我的手指在鍵盤上徘徊，卻一個字也打不出來。沒有話語，沒有信號，只有無盡的虛空。

我閉上眼睛，回憶如潮水般湧來。船員們——我的朋友們——他們也曾在這裡。一共十二個人，我還記得他們的聲音、他們的笑聲，還有他們在談論太空寒冷時的模樣。如今，他們都已離去。我不知道發生了什麼，也許是船體破裂，也許是火災，也許是更可怕的事情。但這已經不重要了，他們都走了，只剩下我一個人。

我想起了地球上的妻子，已經好幾個星期沒有和她聯繫了。我最後一次發給她的消息只是簡單的一句“我沒事”。但現在，我必須說更多。我必須告訴她一切，我必須讓她知道我們的犧牲並非毫無意義。

這條訊息是唯一重要的事情，它是與外界聯繫的唯一方式，是讓我們在死後依然存活的唯一途徑。

我再次睜開眼睛，控制檯依然毫無反應。我又咒罵了一句，但這次聲音更小，更多的是絕望。“快點，該死的，給我工作！”

我在系統中翻找著，試圖找到任何備用方案。緊急日誌還在，但已經損壞。語音記錄儀——我最後的希望——也已離線。我只能使用手動覆蓋。我想起了訓練時學過的代碼：0173。這是一個古老的代碼，但也許它還能起作用。

我顫抖著手指輸入了代碼。屏幕閃爍了一下，然後就沒了動靜。沒有任何反應。我再次咒罵起來，聲音更大了。“你這個混蛋！你怎麼就是不工作！”

空氣變得異常沉重，我的胸口也越來越悶。我想起了船員們的面容和聲音，想起了我們最後一次相聚的情景。那是在食堂裡的一頓晚餐，我們歡聲笑語，分享著彼此的故事，每個人都說“我沒事”。但現在，只剩下我一個人，我必須說更多。

我再次嘗試。輸入代碼：0173。屏幕閃爍了一下，接著又閃了一下。那是一個信號，就像一顆微弱的心跳。我屏住了呼吸。

“快點，”我輕聲說道，“快點。”

屏幕亮了起來，出現了一個訊息輸入框。我迅速而絕望地輸入：“我是洛恩船長。‘宙斯盾’號已受損，全體船員遇難。我們遭到了不明勢力的攻擊。請派救援。我們需要讓地球知道這裡發生了什麼。這是我們的最後一條訊息。地球，請一定要聽到。”

這些話就像一句祈禱。我按下了發送鍵。屏幕再次閃爍了一下，然後電力徹底中斷了。

駕駛艙陷入了黑暗，控制檯也安靜了下來。我獨自坐在那裡，周圍只有太空的寂靜。

但我做到了，我發出了那條訊息。即使沒有人聽到，即使沒有人來救援，我也確保了我們不會被遺忘。

我再次閉上眼睛，想起了地球，想起了我的妻子，想起了船員們，想起了整個宇宙。我任由這寂靜將我吞噬。

最後一條訊息已經發出，飛船已經死亡，但這條訊息將在虛空中永存。也許它會到達地球，也許不會。但我已經盡了我所能。

我雖然孤獨，但我不會被遺忘。

📚 詳細文檔

• 不同專家版本：
  • 4 個專家版本：https://huggingface.co/DavidAU/Qwen3-30B-A1.5B-High-Speed
  • 12 個專家版本（12 cooks）：https://huggingface.co/DavidAU/Qwen3-30B-A4.5B-12-Cooks
  • 16 個專家，128k 上下文版本：https://huggingface.co/DavidAU/Qwen3-30B-A6B-16-Extreme-128k-context
  • 24 個專家版本：https://huggingface.co/DavidAU/Qwen3-30B-A7.5B-24-Grand-Brainstorm
• 系統角色設置：
  • 大多數情況下，Qwen3 會自行生成推理/思考模塊，因此係統角色設置可能並非必需。
  • 系統角色示例：

You are a deep thinking AI, you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself via systematic reasoning processes to help come to a correct solution prior to answering. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem.

- 關於如何在各種 LLM/AI 應用中設置系統角色，請參考文檔 "Maximizing - Model - Performance - All..."。

• 參數和採樣器設置：
  • 如果你要使用此模型（源代碼、GGUF 或其他量化版本），請查看文檔 https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters 以獲取關鍵參數、採樣器和高級採樣器設置（適用於多個 AI/LLM 應用）。
  • 此模型屬於“1 類”（設置將增強操作）模型，該文檔詳細介紹了可用於增強任何模型操作的方法，無論模型類別如何。

🔧 技術細節

• 上下文大小：32K 輸入 + 8K 輸出，總共 40K。
• 速度影響：使用 16 個專家而非默認的 8 個專家會使每秒生成的令牌速度降低約一半。
• 量化版本：文檔中提到的示例使用的是 Q4KS [非 Imatrix] 量化，預計 Imatrix Q4KS、更高量化或全精度會有更強性能。

📄 許可證

文檔中未提及相關許可證信息。

重要提示

• 由於該模型的獨特性質（混合專家模型、規模、激活的專家數量、專家規模），GGUF 量化可以在 CPU、GPU 上運行，或者進行 GPU 部分卸載，甚至可以達到全精度運行。
• 該模型進行 Imatrix 操作較為困難，需要更大的 Imatrix 文件、多語言和多內容（如代碼/文本）才能進行操作。
• GPU 速度將比僅使用 CPU 快 4 - 8 倍甚至更高，相對於其他“30B”模型，該模型的每秒令牌速度大致相當於 6B“普通”模型的速度。

使用建議

• 對於常規或簡單的用例，使用正常（8 個專家）、“12 cooks”（12 個專家）或“High - Speed”（4 個專家）版本可能更合適。
• 對於更復雜、更具深度的用例，可以考慮使用此 16 個專家的版本。
• 在使用模型之前，請仔細閱讀相關文檔，瞭解關鍵參數、採樣器和高級採樣器設置，以獲得最佳性能。