Erosumika 7B V3 7.1bpw Exl2

🚀 Erosumika-7B-v3

Erosumika-7B-v3是一款文本生成模型，采用7.1bpw exl2量化，适合在8GB GPU上处理16k上下文。它由多个模型融合而成，适用于娱乐目的的虚构写作。

🚀 快速开始

此模型的原始版本可在 这里 查看。同时，还有 GGUF量化版本 可供使用。

✨ 主要特性

• 采用7.1bpw exl2量化，能在8GB GPU上很好地处理16k上下文。
• 该模型是由Nitral的 Kunocchini-7b、Endevor的 InfinityRP-v1-7B 以及作者的 FlatErosAlpha 融合而成，其中FlatErosAlpha是tavtav的 eros-7B-ALPHA 的扁平化版本（为保持词汇量为32000）。
• Alpaca和ChatML格式在此模型中使用效果最佳。

🔧 技术细节

以下是模型合并的相关技术细节：

base_model: localfultonextractor/FlatErosAlpha
models:
  - model: localfultonextractor/FlatErosAlpha
  - model: Epiculous/InfinityRP-v1-7B
    parameters:
      density: 0.4
      weight: 0.25
  - model: Nitral-AI/Kunocchini-7b
    parameters:
      density: 0.3
      weight: 0.35
merge_method: dare_ties
dtype: bfloat16

注意：分词器是从InfinityRP-v1-7B复制而来。

📄 许可证

本模型采用CC BY 4.0许可证。

📚 详细文档

局限性和偏差

• 预期用例：此模型的预期用途是用于娱乐目的的虚构写作，任何其他类型的使用均不在范围内。
• 输出风险：即使输入提示本身不包含任何明确的冒犯性内容，该模型也可能产生社会不可接受或不良的文本。输出内容可能经常在事实方面存在错误或具有误导性。

⚠️ 重要提示

该模型仅适用于娱乐目的的虚构写作，其他使用场景可能会产生不可预期的结果。

💡 使用建议

建议使用Alpaca和ChatML格式与模型进行交互，以获得更好的效果。