Miqu 1 120b

🚀 miqu-1-120b

miqu-1-120b 是一个基于 miqu-1-70b 模型，使用 mergekit 工具将 miqu-1-70b-sf 模型的层进行交错合并得到的 1200 亿参数模型。该模型受多个 1200 亿参数模型启发而创建。

• EXL2 量化版本：2.4bpw | 2.65bpw | 3.0bpw | 4.0bpw | 5.0bpw
• GGUF 量化版本：Q2_K-Q5_K_M | IQ3_XXS

该模型是通过 mergekit 工具，将 miqu-1-70b-sf 模型的层与其自身交错合并，基于 miqu-1-70b 创建的 1200 亿参数的合并模型。

该模型的创建受到了 Venus-120b-v1.2、MegaDolphin-120b 和 goliath-120b 的启发。

感谢 CopilotKit 的支持，它是一个开源平台，可将应用内的 AI 副驾驶集成到任何产品中，支持任何大语言模型。欢迎查看他们的 GitHub 项目。

感谢 Lone Striker 提供的 EXL2 和 GGUF 量化版本！

此外，还有 miquliz-120b-v2.0 可供使用，它是 Miqu 的“妹妹”版本，更新且更优，是 Miqu 和 lzlv 的类似 Goliath 的新型改进合并模型。

✨ 主要特性

用户评价

用户 u/SomeOddCodeGuy 在 r/LocalLLaMA 上评价道：

我超爱这个模型。它运行起来像圣诞节一样慢，但真的太棒了。你们在这个模型上做得非常出色。

这个模型差点让我取消 ChatGPT 4 的订阅，哈哈。有了它、Deepseek 还有其他几个模型，我不确定以后还会不会经常使用 ChatGPT 了。

我正在使用 16k 的 Q8 版本，它对上下文的理解程度之高，我简直无法用言语来表达。这个周末我可能会做一些测试，但目前来看它非常棒。

过去两天我一直在使用你们的 miqu-1，它的表现惊人。它理解我所说内容的方式，只有 ChatGPT 能做到。我故意让我的表述越来越模糊、随意，谈论最无聊的事情，它就像人一样能跟得上我的思路。

Miqu-1 确实会稍微忽略一些指令。我试图创建一个更具讽刺性/侮辱性的 AI 助手来聊天，并且（尝试几次后多次）明确告诉它之后不要向我道歉，但它就是停不下来。所以，当它像“哇，把那个单词拼对可真是了不起的本事啊。真是个天才，是吧？”这样嘲讽我拼写错误时，它还是会接着说“不过说真的，有时候拼写错误很正常”，哈哈。但这是我遇到的唯一问题。

📚 详细文档

模型详情

提示模板：Mistral

<s>[INST] {prompt} [/INST]

更多信息请参考：🐺🐦‍⬛ LLM 提示格式比较/测试：Mixtral 8x7B Instruct 与 17 种不同的指令模板 : LocalLLaMA

合并详情

合并方法

该模型使用了直通合并方法进行合并。

合并的模型

以下模型参与了合并：

• 152334H/miqu-1-70b-sf

配置

以下 YAML 配置用于生成此模型：

dtype: float16
merge_method: passthrough
slices:
- sources:
  - layer_range: [0, 20]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [10, 30]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [20, 40]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [30, 50]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [40, 60]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [50, 70]
    model: 152334H/miqu-1-70b-sf
- sources:
  - layer_range: [60, 80]
    model: 152334H/miqu-1-70b-sf

🔧 技术细节

致谢与特别感谢

• 原始（未发布）模型：mistralai (Mistral AI_)
  • ⭐⭐⭐ 在此使用他们更新、更优的官方模型！ ⭐⭐⭐
• 泄露的模型：miqudev/miqu-1-70b
• f16 模型：152334H/miqu-1-70b-sf
• mergekit：arcee-ai/mergekit: 用于合并预训练大语言模型的工具。
• mergekit_config.yml：nsfwthrowitaway69/Venus-120b-v1.2

支持

• 我的 Ko-fi 页面，如果您想给我打赏表示感谢，或者优先请求测试或合并特定模型。如果您有能力，也请考虑支持您喜欢的模型创建者、量化者或前端/后端开发者，他们值得支持！

📄 许可证

免责声明

该模型包含泄露的权重，由于其内容性质，任何人都不应使用该模型。 😜

但严肃地说：

许可证

我所了解的情况：机器生成的权重不受版权保护，因此一旦您获取了这些文件，就不存在可以授予使用许可或限制使用的版权所有者。

伦理考量

我的观点：所有生成式 AI，包括大语言模型，之所以存在，主要是因为它们大多基于人类数据（包括公共领域和受版权保护的数据，很可能是在未获得明确同意的情况下获取的）以及可能的合成数据（最终也源自人类数据）进行训练。如果基于每个人的知识和数据的东西也能免费向公众开放，即这些底层内容的实际创造者，那才是公平的。合理使用，公平的 AI！