Boreangale 70B

🚀 BoreanGale-70B

BoreanGale-70B 是一個使用自定義算法（NearSwap）融合而成的模型。它結合了其他模型的優勢，在文本生成等任務上展現出一定的性能。該模型目前僅用於非商業研究用途。

✨ 主要特性

• 融合模型：使用自定義的 NearSwap 算法，融合了 152334H/miqu-1-70b-sf 和 Sao10K/WinterGoddess-1.4x-70B-L2 兩個模型。
• 多量化版本：社區貢獻了多種量化版本，方便不同場景使用。
• 特定算法：NearSwap 算法能根據權重相似度進行插值處理，在一定參數下可調整模型特性。

📦 量化版本

由於社區的努力，該模型有多個量化版本可供使用：

🔧 技術細節

NearSwap 算法

NearSwap 算法保留了基礎模型（Miqu）的大部分權重，但當兩個模型的權重相似時，會將其插值到次要模型（WinterGoddess）的值。參數 t 指定了相似度閾值，當兩個值之間的距離低於 t 時，將使用次要模型（WinterGoddess）的權重。

此版本的模型使用 t = 0.001。在這個 t 值下，約 10% 的權重完全切換到了 WinterGoddess。當 t 大於 0.0025 時，模型質量會迅速下降：

• t = 0.0001（約 0.8% 完全切換）：QuartetAnemoi-70B-t0.0001
• t = 0.0003（約 2% 完全切換）
• t = 0.001 （約 10% 完全切換）：當前模型
• t = 0.0025（約 18% 完全切換）：能生成一段合理文本，但隨後輸出混亂
• t = 0.005 （約 35% 完全切換）：輸出混亂，為半相關的單詞列表
• t = 0.01 （約 55% 完全切換）：輸出混亂，為偽隨機的標記

NearSwap 算法的實現代碼如下：

    t: Union[float, np.ndarray],
    v0: Union[np.ndarray, torch.Tensor],
    v1: Union[np.ndarray, torch.Tensor],
...
    lweight = numpy.absolute(v0-v1)
    lweight = t / lweight
    lweight = numpy.nan_to_num(lweight, nan=1.0, posinf=1.0, neginf=1.0)
    numpy.clip(lweight, a_min=0.0, a_max=1.0, out=lweight)
    res = lerp(lweight,v0,v1)

📄 許可證

由於 Miqu 的最終來源目前除了推測外尚不清楚，因此該模型僅用於非商業研究用途。

📚 詳細文檔

Open LLM 排行榜評估結果

詳細結果可查看 此處