Erosumika 7B V3 7.1bpw Exl2

🚀 Erosumika-7B-v3

Erosumika-7B-v3は、テキスト生成に特化したモデルです。7.1bpw exl2量子化が適用されており、8GB GPUで16kコンテキストに最適です。

🚀 クイックスタート

このモデルは、7.1bpw exl2量子化が適用されており、8GB GPUで16kコンテキストに最適です。 元のモデルはこちら: (https://huggingface.co/localfultonextractor/Erosumika-7B-v3)

✨ 主な機能

モデル詳細

このモデルは、NitralのKunocchini-7b、EndevorのInfinityRP-v1-7B、そして私のFlatErosAlpha（tavtavのeros-7B-ALPHAを語彙サイズ32000に維持するために平坦化したバージョン）をDARE TIESメソッドでマージしたものです。AlpacaとChatMLが最適な動作をします。 GGUF quants

制限事項とバイアス

このモデルの意図された使用目的は、エンターテイメントを目的とした架空の文章作成です。それ以外の使用は想定外です。 プロンプト自体に明確な不快な内容が含まれていなくても、社会的に受け入れられないまたは望ましくないテキストを生成する可能性があります。出力はしばしば事実に誤りがあったり、誤解を招くものになることがあります。

base_model: localfultonextractor/FlatErosAlpha
models:
  - model: localfultonextractor/FlatErosAlpha
  - model: Epiculous/InfinityRP-v1-7B
    parameters:
      density: 0.4
      weight: 0.25
  - model: Nitral-AI/Kunocchini-7b
    parameters:
      density: 0.3
      weight: 0.35
merge_method: dare_ties
dtype: bfloat16

注: InfinityRP-v1-7Bからトークナイザをコピーしました。

📄 ライセンス

このモデルは、CC-BY-4.0ライセンスの下で提供されています。