🚀 transformers

このライブラリは、テキスト生成に関連する機能を提供し、Mistralモデルの量子化バージョンをサポートしています。

🚀 クイックスタート

このREADMEでは、transformersライブラリに関連する情報や、ChaoticNeutrals/Layris_9BモデルのGGUF-Imatrix量子化について説明します。

⚠️ 重要提示

このモデルのすべてのクレジットは作者に帰属します。

💡 使用建议

最近、アップロード速度が遅く不安定です。現実的には、より良いプロバイダーに移動する必要があります。もしあなたが可能であれば、こちらから私の活動を支援できます (Ko-fi)。皆さんの体験を損なって申し訳ありません。

💻 使用例

基本的な使用法

    quantization_options = [
        "Q4_K_M", "Q4_K_S", "IQ4_XS", "Q5_K_M", 
        "Q5_K_S", "Q6_K", "Q8_0", "IQ3_M", "IQ3_S", "IQ3_XS", "IQ3_XXS"
    ]

📚 ドキュメント

GGUF-Imatrix量子化について

ChaoticNeutrals/Layris_9BのGGUF-Imatrix量子化に関する情報です。すべてのクレジットは作者に帰属します。もしこれらの量子化が気に入ったら、FantasiaFoundry's GGUF-IQ-Imatrix-Quantization-Scriptの作業もチェックしてみてください。

個人的なメモ: このモデルは、無制限のLayla-V4とマージされているため、拒否率が低くなるはずです。

"Imatrix"の意味

Importance Matrixの略で、量子化モデルの品質を向上させるために使用される手法です。
[1]
Imatrixはキャリブレーションデータに基づいて計算され、量子化プロセス中の異なるモデルの活性化の重要度を判断するのに役立ちます。量子化中に最も重要な情報を保持することで、モデルの性能の損失を減らし、特にキャリブレーションデータが多様な場合には、より良い品質の保存につながります。
[2]

--imatrixデータには、imatrix.datが使用されています。

llama.cpp-b2350を使用しています。

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

新しいIQ3_S量子化オプションは、古いQ3_K_Sよりも優れていることがわかっているため、後者の代わりに追加しました。koboldcpp-1.59.1以上でのみサポートされています。

特定の量子化を追加したい場合は、自由にお問い合わせください。

モデルカード

オリジナルモデル情報

Layris

これは、mergekitを使用して作成された事前学習言語モデルのマージです。

マージの詳細

マージ方法

このモデルは、パススルーマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• ChaoticNeutrals/Eris_Remix_7B
• l3utterfly/mistral-7b-v0.1-layla-v4

設定

以下のYAML設定がこのモデルの生成に使用されました。

slices:
  - sources:
      - model: ChaoticNeutrals/Eris_Remix_7B
        layer_range: [0, 20]
  - sources:
      - model: l3utterfly/mistral-7b-v0.1-layla-v4
        layer_range: [12, 32]
merge_method: passthrough
dtype: float16