L3.3 Nevoria R1 70b EXL2 5.0bpw H8

🚀 L3.3-Nevoria-R1-70b

L3.3-Nevoria-R1-70b 是一款強大的模型，它結合了多種基礎模型的優勢，在對話交互、場景理解、故事講述等方面表現出色，能為用戶帶來豐富且高質量的文本生成體驗。

🚀 快速開始

該模型可藉助 transformers 庫使用，以下是相關基礎信息：

base_model:
- nbeerbower/Llama-3.1-Nemotron-lorablated-70B
- SicariusSicariiStuff/Negative_LLAMA_70B
- TheDrummer/Anubis-70B-v1
- EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1
- deepseek-ai/DeepSeek-R1-Distill-Llama-70B
- Sao10K/L3.3-70B-Euryale-v2.3
library_name: transformers
tags:
- mergekit
- merge

✨ 主要特性

• 多模型融合：融合了多個強大的 70B 參數模型，如 EVA-LLAMA-0.1、EURYALE-v2.3、Anubis-v1 等，各取所長，具備出色的故事講述能力、詳細的場景描述能力以及增強的散文細節表現。
• 減少正向偏差：引入 Negative_LLAMA 模型，有效減少了正向偏差，使回覆更加客觀平衡。
• 增強推理能力：採用 DeepSeek-R1 推理架構，提升了對話交互和場景理解能力，同時改善了對提示的遵循度和創造性推理能力。
• 獨特的模型基礎：選用 Nemotron-lorablated 作為基礎模型，通過在合併過程中減去該模型實現“權重扭曲”效果，賦予模型獨特的響應特性。

📚 詳細文檔

模型信息

• 模型名稱含義：
  • L3.3 代表 Llama 3.3
  • R1 代表 DeepSeek-R1
  • 70b 表示 700 億參數
• 模型組成：
  • EVA-LLAMA-0.1：具備故事講述能力。
  • EURYALE-v2.3：擅長詳細的場景描述。
  • Anubis-v1：增強了散文細節。
  • Negative_LLAMA：減少正向偏差。
  • DeepSeek-R1-Distill-Llama-70B：提升智能、對話和感知能力。
  • Nemotron-lorablated：基礎模型。

推薦模板與提示

• LLam@ception：由 @.konnect 提供。

量化版本

• GGUF 量化：
  • mradermacher 提供的 GGUF 版本
  • mradermacher 提供的 Imat-GGUF 版本
• EXL2 量化：
  • Darkhn 提供的 6.0BPW - H8 - EXL2 版本

支持項目

如果你想支持該項目，可以通過 Ko-fi 進行捐贈。