Llama 3 70b Arimas Story RP V1.6 3.0bpw H6 Exl2

🚀 [ryzen88/Llama-3-70b-Arimas-story-RP-V1.6のEXL2量子化モデル]

このプロジェクトは、ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 モデルのEXL2量子化バージョンを提供します。量子化により、モデルのメモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 のEXL2量子化バージョンは以下の通りです。それぞれのリンクをクリックすると、Hugging Face上の対応するモデルページにアクセスできます。

• 3.00 bits per weight
• 3.50 bits per weight
• 4.00 bits per weight
• 4.50 bits per weight
• 6.00 bits per weight
• 8.00 bits per weight

これらの量子化モデルは、exllamav2 1.4.0のconvert.pyのデフォルト設定を使用して作成されています。

• 3.0bpwから6.0bpwまでのヘッドビット数 = 6
• 8.0bpwのヘッドビット数 = 8
• シーケンス長 = 8192
• データセット行数 = 200
• 測定行数 = 32
• 測定シーケンス長 = 8192

✨ 主な機能

このモデルは、事前学習された言語モデルを mergekit を使用してマージしたものです。以下に、マージの詳細を説明します。

マージの概要

このマージで使用されるモデルの数を大幅に拡張し、さまざまなアイデアを試しました。このバージョンはV1.5よりも説得力があり、量子化後も長いコンテキストウィンドウが強力に機能することが期待されます。多数のマージを行ったため、BFloatからFloatに戻しました。Tiesを使用せずにbreadcrumsを試したところ、結果は非常に悪かったです。

マージ方法

このモデルは、I:\Llama-3-70B-Instruct-Gradient-262k をベースとして、breadcrumbs_ties マージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• \Smaug-Llama-3-70B-Instruct
• \Meta-LLama-3-Cat-Smaug-LLama-70b
• \Meta-LLama-3-Cat-A-LLama-70b
• \Llama-3-70B-Synthia-v3.5
• \Llama-3-70B-Instruct-Gradient-524k
• \Llama-3-70B-Instruct-Gradient-262k
• \Tess-2.0-Llama-3-70B-v0.2
• \Llama-3-Lumimaid-70B-v0.1-alt

設定

以下のYAML設定がこのモデルを生成するために使用されました。

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16