🚀 Chupacabra 7B v2

Chupacabra 7B v2 是一個基於Mistral模型融合而成的文本生成模型，採用了先進的SLERP融合方法，能有效結合多個模型的優勢，在多個文本生成任務中展現出良好的性能。

🚀 快速開始

使用以下代碼可開始使用該模型：

# 此處應補充具體的代碼示例，文檔中未提供，需根據實際情況添加

✨ 主要特性

• 先進的融合方法：採用SLERP（Spherical Linear Interpolation）融合方法，相較於常見的權重平均法，能確保生成的模型平滑地融合兩個父模型的特徵，在高維空間中更好地保留模型的曲率和特性，實現更細緻的融合。
• 多任務表現良好：在多個文本生成任務中，如AI2推理挑戰、HellaSwag、MMLU等，都取得了不錯的成績。

📦 安裝指南

文檔未提供具體安裝步驟，暫無法展示。

💻 使用示例

基礎用法

替換 {system} 為你的系統提示，{prompt} 為你的提示指令。

<|im_start|>system
{system}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 詳細文檔

模型描述

該模型通過SLERP融合方法，基於Mistral模型進行融合。SLERP方法具有以下優勢：

• 平滑過渡：確保模型參數之間的過渡更加平滑，在高維向量插值時尤為重要。
• 特性保留：與權重平均法不同，SLERP能在高維空間中保留兩個模型的曲率和特性，避免稀釋獨特特徵。
• 細緻融合：考慮了向量空間中模型的幾何和旋轉特性，使融合結果更能反映兩個父模型的特徵。

目的

通過直接偏好優化（DPO）、監督微調（SFT）和強化學習等先進訓練方法，融合Mistral模型中性能最佳的模型權重。

錯誤修復

• 修復了生成問題和模型權重錯誤的問題，已更正模型權重，現在生成功能恢復正常。同時將GGUF版本重新上傳到GGUF倉庫，以及AWQ版本。
• 修復了分詞器停止不正確的問題，並更改了提示模板。
• 上傳了新的融合模型權重。

更多信息

🔧 技術細節

文檔未提供具體技術實現細節，暫無法展示。

📄 許可證

本模型使用Apache 2.0許可證。

Open LLM Leaderboard評估結果

詳細結果可查看此處