Llama-3-70b統合モデルがオープンソース化！物語生成とロールプレイングに特化し、長いコンテキストをサポート

ホーム

Llama 3 70b Arimas Story RP V1.6 4.0bpw H6 Exl2

kim512によって開発

Llama 3 70Bアーキテクチャを基にしたマージモデルで、ストーリー生成とロールプレイに最適化されており、長文脈ウィンドウをサポート

大規模言語モデル

Transformers

#長文脈推論 #ロールプレイ最適化 #マルチモデル融合

ダウンロード数 20

リリース時間 : 4/25/2025

モデル概要

これはmergekitを使用して複数のLlama 3 70Bバリアントを統合したモデルで、ストーリー創作とロールプレイシナリオに特化しており、特に長文生成能力が最適化されています

モデル特徴

マルチモデルマージ

SmaugやSynthiaなど8つの異なるLlama 3 70Bバリアントを統合

長文脈サポート

長文脈ウィンドウのパフォーマンスを特別に最適化し、8192トークンの文脈長をサポート

ロールプレイ最適化

ストーリー創作とロールプレイシナリオ向けに特別に最適化

マルチ量子化バージョン

3.0から8.0ビット/重みまでの様々なEXL2量子化バージョンを提供し、異なるハードウェア要件に対応

モデル能力

長文生成

ロールプレイ対話

ストーリー創作

指示追従

使用事例

クリエイティブライティング

ストーリー生成

一貫性のある長編ストーリーコンテンツを生成

プロット豊富なマルチチャプターストーリーを生成可能

エンターテインメントアプリケーション

ロールプレイチャット

AIキャラクターと没入型対話

生き生きとしたキャラクターインタラクション体験を提供

🚀 [ryzen88/Llama-3-70b-Arimas-story-RP-V1.6のEXL2量子化モデル]

このプロジェクトは、ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 モデルをEXL2形式で量子化したもので、異なるビット数の量子化モデルを提供しています。

🚀 クイックスタート

ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 のEXL2量子化モデル

これらの量子化モデルは、exllamav2 1.4.0のconvert.pyのデフォルト設定を使用して作成されました。

3.0bpwから6.0bpwのヘッドビット数 = 6
8.0bpwのヘッドビット数 = 8
長さ = 8192
データセットの行数 = 200
測定用の行数 = 32
測定用の長さ = 8192

✨ 主な機能

モデル概要

Llama-3-70b-Arimas-story-RP-V1.6は、mergekit を使用して事前学習された言語モデルをマージしたものです。

マージの詳細

このマージで使用されるモデルの量を大幅に拡大し、さまざまなアイデアで多くの実験を行いました。このバージョンはV1.5よりもはるかに説得力があります。量子化後も長いコンテキストウィンドウが強力に維持されることを期待しています。多くのマージのため、BFloatからFloatに戻しました。Tiesなしのbreadcrumsを試しましたが、非常にうまくいきませんでした。

マージ方法

このモデルは、I:\Llama-3-70B-Instruct-Gradient-262kをベースにして、breadcrumbs_tiesマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

\Smaug-Llama-3-70B-Instruct
\Meta-LLama-3-Cat-Smaug-LLama-70b
\Meta-LLama-3-Cat-A-LLama-70b
\Llama-3-70B-Synthia-v3.5
\Llama-3-70B-Instruct-Gradient-524k
\Llama-3-70B-Instruct-Gradient-262k
\Tess-2.0-Llama-3-70B-v0.2
\Llama-3-Lumimaid-70B-v0.1-alt

設定

このモデルを生成するために使用されたYAML設定は次の通りです。

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16