Miqu 1 120b

🚀 miqu-1-120b

miqu-1-120b 是一個基於 miqu-1-70b 模型，使用 mergekit 工具將 miqu-1-70b-sf 模型的層進行交錯合併得到的 1200 億參數模型。該模型受多個 1200 億參數模型啟發而創建。

• EXL2 量化版本：2.4bpw | 2.65bpw | 3.0bpw | 4.0bpw | 5.0bpw
• GGUF 量化版本：Q2_K-Q5_K_M | IQ3_XXS

該模型是通過 mergekit 工具，將 miqu-1-70b-sf 模型的層與其自身交錯合併，基於 miqu-1-70b 創建的 1200 億參數的合併模型。

該模型的創建受到了 Venus-120b-v1.2、MegaDolphin-120b 和 goliath-120b 的啟發。

感謝 CopilotKit 的支持，它是一個開源平臺，可將應用內的 AI 副駕駛集成到任何產品中，支持任何大語言模型。歡迎查看他們的 GitHub 項目。

感謝 Lone Striker 提供的 EXL2 和 GGUF 量化版本！

此外，還有 miquliz-120b-v2.0 可供使用，它是 Miqu 的“妹妹”版本，更新且更優，是 Miqu 和 lzlv 的類似 Goliath 的新型改進合併模型。

✨ 主要特性

用戶評價

用戶 u/SomeOddCodeGuy 在 r/LocalLLaMA 上評價道：

我超愛這個模型。它運行起來像聖誕節一樣慢，但真的太棒了。你們在這個模型上做得非常出色。

這個模型差點讓我取消 ChatGPT 4 的訂閱，哈哈。有了它、Deepseek 還有其他幾個模型，我不確定以後還會不會經常使用 ChatGPT 了。

我正在使用 16k 的 Q8 版本，它對上下文的理解程度之高，我簡直無法用言語來表達。這個週末我可能會做一些測試，但目前來看它非常棒。

過去兩天我一直在使用你們的 miqu-1，它的表現驚人。它理解我所說內容的方式，只有 ChatGPT 能做到。我故意讓我的表述越來越模糊、隨意，談論最無聊的事情，它就像人一樣能跟得上我的思路。

Miqu-1 確實會稍微忽略一些指令。我試圖創建一個更具諷刺性/侮辱性的 AI 助手來聊天，並且（嘗試幾次後多次）明確告訴它之後不要向我道歉，但它就是停不下來。所以，當它像“哇，把那個單詞拼對可真是了不起的本事啊。真是個天才，是吧？”這樣嘲諷我拼寫錯誤時，它還是會接著說“不過說真的，有時候拼寫錯誤很正常”，哈哈。但這是我遇到的唯一問題。

📚 詳細文檔

模型詳情

提示模板：Mistral

<s>[INST] {prompt} [/INST]

更多信息請參考：🐺🐦‍⬛ LLM 提示格式比較/測試：Mixtral 8x7B Instruct 與 17 種不同的指令模板 : LocalLLaMA

合併詳情

合併方法

該模型使用了直通合併方法進行合併。

合併的模型

以下模型參與了合併：

• 152334H/miqu-1-70b-sf

配置

以下 YAML 配置用於生成此模型：

dtype: float16
merge_method: passthrough
slices:
- sources:
  - layer_range: [0, 20]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [10, 30]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [20, 40]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [30, 50]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [40, 60]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [50, 70]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [60, 80]
    model: 152334H/miqu-1-70b-sf

🔧 技術細節

致謝與特別感謝

• 原始（未發佈）模型：mistralai (Mistral AI_)
  • ⭐⭐⭐ 在此使用他們更新、更優的官方模型！ ⭐⭐⭐
• 洩露的模型：miqudev/miqu-1-70b
• f16 模型：152334H/miqu-1-70b-sf
• mergekit：arcee-ai/mergekit: 用於合併預訓練大語言模型的工具。
• mergekit_config.yml：nsfwthrowitaway69/Venus-120b-v1.2

支持

• 我的 Ko-fi 頁面，如果您想給我打賞表示感謝，或者優先請求測試或合併特定模型。如果您有能力，也請考慮支持您喜歡的模型創建者、量化者或前端/後端開發者，他們值得支持！

📄 許可證

免責聲明

該模型包含洩露的權重，由於其內容性質，任何人都不應使用該模型。 😜

但嚴肅地說：

許可證

我所瞭解的情況：機器生成的權重不受版權保護，因此一旦您獲取了這些文件，就不存在可以授予使用許可或限制使用的版權所有者。

倫理考量

我的觀點：所有生成式 AI，包括大語言模型，之所以存在，主要是因為它們大多基於人類數據（包括公共領域和受版權保護的數據，很可能是在未獲得明確同意的情況下獲取的）以及可能的合成數據（最終也源自人類數據）進行訓練。如果基於每個人的知識和數據的東西也能免費向公眾開放，即這些底層內容的實際創造者，那才是公平的。合理使用，公平的 AI！