Quartetanemoi 70B T0.0001

🚀 QuartetAnemoi-70B-t0.0001

QuartetAnemoi-70B-t0.0001は、独自のアルゴリズム（NearSwap）を用いて複数のモデルをシーケンシャルにマージしたモデルです。テキスト生成タスクにおいて良好な性能を発揮し、ストーリーテリングなどの用途に適しています。

✨ 主な機能

• 複数のモデルを独自のアルゴリズム（NearSwap）でシーケンシャルにマージ。
• テキスト生成タスクで良好な性能を発揮。
• ストーリーの終わりで一般的な決まり文句を使わない。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

READMEにコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

マージ元のモデル

このモデルは以下のモデルをマージして作成されています。

• 152334H/miqu-1-70b-sf
• Sao10K/WinterGoddess-1.4x-70B-L2
• Aurora-Nights-70B-v1.0
• Xwin-LM-70B-V0.1

量子化形式

多くの人気の量子化形式が利用可能です。

NearSwapアルゴリズム

NearSwapは、ベースモデル（Miqu）のほとんどの重みを保持しますが、2つの重みが類似している場合、その重みは2次モデルの値に補間されます。パラメータ t は、同じ度合いの閾値を指定します。2つの値の距離が t 未満の場合、2次モデルの重みが使用されます。

このモデルのバージョンでは t = 0.0001 が使用されています。この t では、各パスで約0.8%の重みが2次モデルに完全に切り替わります。t = 0.0025を超えると、モデルの品質は急速に低下します。

• t = 0.0001（約0.8% 完全切り替え）: このモデル
• t = 0.0003（約2% 完全切り替え）
• t = 0.001 （約10% 完全切り替え）: BoreanGale-70B
• t = 0.0025（約18% 完全切り替え）: 1段落は適切に生成されるが、その後は無意味な出力になる
• t = 0.005 （約35% 完全切り替え）: 無意味な出力；関連性の低い単語リスト
• t = 0.01 （約55% 完全切り替え）: 無意味な出力；疑似ランダムなトークンが出力される

QuartetAnemoi-70B-t0.0001では、3つの2次モデルがそれぞれ t = 0.0001 でシーケンシャルにマージされています。

NearSwapの実装:

    t: Union[float, np.ndarray],
    v0: Union[np.ndarray, torch.Tensor],
    v1: Union[np.ndarray, torch.Tensor],
...
    lweight = numpy.absolute(v0-v1)
    lweight = t / lweight
    lweight = numpy.nan_to_num(lweight, nan=1.0, posinf=1.0, neginf=1.0)
    numpy.clip(lweight, a_min=0.0, a_max=1.0, out=lweight)
    res = lerp(lweight,v0,v1)

評価結果

詳細な結果はこちらで確認できます。

🔧 技術詳細

NearSwapアルゴリズムの詳細については、「📚 ドキュメント」の「NearSwapアルゴリズム」セクションを参照してください。

📄 ライセンス

Miquの最終的な出所が現時点では推測を超えて不明であるため、このモデルは非商用の研究用途のみに使用できます。