Boreangale 70B

🚀 BoreanGale-70B

BoreanGale-70Bは、独自のアルゴリズム（NearSwap）を用いて、以下のモデルをマージしたものです。

• 152334H/miqu-1-70b-sf
• Sao10K/WinterGoddess-1.4x-70B-L2

✨ 主な機能

このモデルは、テキスト生成タスクにおいて高い性能を発揮します。Open LLM Leaderboardでの評価結果によると、複数のデータセットで良好な精度を示しています。

📦 クアンタイゼーション

コミュニティの努力により、いくつかのクアンタイゼーションが利用可能です。

🔧 技術詳細

NearSwapアルゴリズム

NearSwapは、ベースモデル（Miqu）の大部分の重みを保持しますが、2つの重みが類似している場合、2次モデル（WinterGoddess）の値に補間されます。パラメータ t は、同一閾値を指定します。2つの値の距離が t を下回ると、2次モデル（WinterGoddess）の重みが使用されます。

このモデルのバージョンでは t = 0.001 を使用しています。この t では、約10％の重みがWinterGoddessに完全に切り替わります。t = 0.0025を超えると、モデルの品質が急速に低下します。

• t = 0.0001 (~0.8% 完全切り替え): QuartetAnemoi-70B-t0.0001
• t = 0.0003 (~2% 完全切り替え)
• t = 0.001 (~10% 完全切り替え): このモデル
• t = 0.0025 (~18% 完全切り替え): 1段落は適切に生成されるが、その後は無意味な出力になる
• t = 0.005 (~35% 完全切り替え): 無意味な出力；関連性のある単語のリスト
• t = 0.01 (~55% 完全切り替え): 無意味な出力；疑似ランダムなトークンが出力される

NearSwapの実装:

    t: Union[float, np.ndarray],
    v0: Union[np.ndarray, torch.Tensor],
    v1: Union[np.ndarray, torch.Tensor],
...
    lweight = numpy.absolute(v0-v1)
    lweight = t / lweight
    lweight = numpy.nan_to_num(lweight, nan=1.0, posinf=1.0, neginf=1.0)
    numpy.clip(lweight, a_min=0.0, a_max=1.0, out=lweight)
    res = lerp(lweight,v0,v1)

📚 詳細ドキュメント

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

Miquの最終的な起源が現時点では推測を超えて不明であるため、このモデルは非商用の研究用途のみに使用できます。