Erosumika 7B V3 7.1bpw Exl2

🚀 Erosumika-7B-v3

Erosumika-7B-v3是一款文本生成模型，採用7.1bpw exl2量化，適合在8GB GPU上處理16k上下文。它由多個模型融合而成，適用於娛樂目的的虛構寫作。

🚀 快速開始

此模型的原始版本可在 這裡 查看。同時，還有 GGUF量化版本 可供使用。

✨ 主要特性

• 採用7.1bpw exl2量化，能在8GB GPU上很好地處理16k上下文。
• 該模型是由Nitral的 Kunocchini-7b、Endevor的 InfinityRP-v1-7B 以及作者的 FlatErosAlpha 融合而成，其中FlatErosAlpha是tavtav的 eros-7B-ALPHA 的扁平化版本（為保持詞彙量為32000）。
• Alpaca和ChatML格式在此模型中使用效果最佳。

🔧 技術細節

以下是模型合併的相關技術細節：

base_model: localfultonextractor/FlatErosAlpha
models:
  - model: localfultonextractor/FlatErosAlpha
  - model: Epiculous/InfinityRP-v1-7B
    parameters:
      density: 0.4
      weight: 0.25
  - model: Nitral-AI/Kunocchini-7b
    parameters:
      density: 0.3
      weight: 0.35
merge_method: dare_ties
dtype: bfloat16

注意：分詞器是從InfinityRP-v1-7B複製而來。

📄 許可證

本模型採用CC BY 4.0許可證。

📚 詳細文檔

侷限性和偏差

• 預期用例：此模型的預期用途是用於娛樂目的的虛構寫作，任何其他類型的使用均不在範圍內。
• 輸出風險：即使輸入提示本身不包含任何明確的冒犯性內容，該模型也可能產生社會不可接受或不良的文本。輸出內容可能經常在事實方面存在錯誤或具有誤導性。

⚠️ 重要提示

該模型僅適用於娛樂目的的虛構寫作，其他使用場景可能會產生不可預期的結果。

💡 使用建議

建議使用Alpaca和ChatML格式與模型進行交互，以獲得更好的效果。