Quartetanemoi 70B T0.0001

🚀 QuartetAnemoi-70B-t0.0001

QuartetAnemoi-70B-t0.0001 是一個通過自定義算法（NearSwap）進行順序合併的模型。它結合了多個優質模型的特點，在文本生成任務中表現出色，且生成的故事結尾較少使用陳詞濫調。

✨ 主要特性

• 獨特合併方式：使用自定義的 NearSwap 算法，將四個不同的模型 152334H/miqu-1-70b-sf、Sao10K/WinterGoddess-1.4x-70B-L2、Aurora-Nights-70B-v1.0 和 Xwin-LM-70B-V0.1 進行順序合併。
• 故事生成優質：在測試中，該模型像一個出色的故事講述者，且故事結尾很少使用“最後”“於是”“希望的燈塔”等陳詞濫調。
• 多種量化格式：得益於社區的努力，目前提供了多種流行的量化格式。

📦 量化格式

🔧 技術細節

NearSwap 算法

NearSwap 算法保留了基礎模型（Miqu）的大部分權重，但當兩個模型的權重相似時，會將其插值到次要模型的值。參數 t 指定了相同性閾值，當兩個值之間的距離低於 t 時，將使用次要模型的權重。

此版本的模型使用 t = 0.0001。在這個 t 值下，每次傳遞時約有 0.8% 的權重會完全切換到次要模型。當 t > 0.0025 時，模型質量會迅速下降：

• t = 0.0001（約 0.8% 完全交換）：即本模型 QuartetAnemoi-70B-t0.0001
• t = 0.0003（約 2% 完全交換）
• t = 0.001（約 10% 完全交換）：BoreanGale-70B
• t = 0.0025（約 18% 完全交換）：能生成一段還可以的文本，但隨後會變成亂碼
• t = 0.005（約 35% 完全交換）：亂碼；半相關的單詞列表
• t = 0.01（約 55% 完全交換）：亂碼；偽隨機令牌輸出

對於 QuartetAnemoi-70B-t0.0001，三個次要模型分別以 t = 0.0001 進行順序合併。

NearSwap 實現代碼如下：

    t: Union[float, np.ndarray],
    v0: Union[np.ndarray, torch.Tensor],
    v1: Union[np.ndarray, torch.Tensor],
...
    lweight = numpy.absolute(v0-v1)
    lweight = t / lweight
    lweight = numpy.nan_to_num(lweight, nan=1.0, posinf=1.0, neginf=1.0)
    numpy.clip(lweight, a_min=0.0, a_max=1.0, out=lweight)
    res = lerp(lweight,v0,v1)

📄 許可證

由於目前除了推測之外，無法確定 Miqu 的最終來源，因此該模型僅用於非商業研究用途。

📚 詳細文檔

Open LLM Leaderboard 評估結果

詳細結果可查看 此處