C4ai Command R Plus Imat.gguf

🚀 CohereForAI/c4ai-command-r-plus のGGUF量子化モデル

このプロジェクトは、CohereForAI/c4ai-command-r-plusモデルのGGUF量子化モデルに関する情報を提供します。量子化されたモデルは、メモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

モデルの更新情報

• 2024年5月5日：コミット889bdd7がマージされ、このモデルにBPE事前トークン化が導入されました。すべての量子化モデルを更新します。
• 2024年4月9日：このモデルのサポートがメインブランチにマージされました。
  • プルリクエスト PR #6491
  • コミット 5dc9dd71
  • Noedaのフォークはこれらの重みでは動作しません。llama.cppのメインブランチが必要です。

注意事項

⚠️ 重要提示

分割ファイル（またはチャンク）を結合しないでください。必要な場合（ほとんどの使用ケースでは必要ない）は、gguf-splitを使用してファイルを結合します。

✨ 主な機能

• GGUF量子化：https://huggingface.co/CohereForAI/c4ai-command-r-plus のGGUF重要度行列（imatrix）量子化モデルを提供します。
• 重要度行列のトレーニング：重要度行列は、wiki.train.rawを使用して約100Kトークン（512トークンの200バッチ）でトレーニングされています。
• 最適なGGUFの選択：Which GGUF is right for me? (from Artefact2) を参照して、最適なGGUFを選択できます。X軸はファイルサイズ、Y軸はパープレキシティ（パープレキシティが低いほど品質が高い）です。いくつかの最適なポイント（サイズとPPLのバランス）は、IQ4_XS、IQ3_M/IQ3_S、IQ3_XS/IQ3_XXS、IQ2_M、IQ2_XSです。
• K量子化での重要度行列の使用：imatrix is being used on the K-quants では、K量子化（Q6_K未満）で重要度行列が使用されています。
• GGUFの結合：必要に応じて、gguf-split --merge <first-chunk> <output-file> を使用してGGUFを結合できます。ただし、f482bb2e 以降は通常必要ありません。
• 分割モデルのロード：分割モデルをロードするには、--model または -m 引数で最初のチャンクを指定します。
• 重要度行列の詳細：重要度行列（imatrix）については、こちら で詳細を読むことができます。その他の情報は こちら にあります。
• imatrix量子化の使用方法：imatrix量子化モデルは、他のGGUFモデルと同じように使用できます。.dat ファイルは参照用であり、モデルを実行するために必要ありません。
• IQ1量子化の選択：最後の手段としてIQ1量子化を使用する場合は、IQ1_Mを選択してください。
• GGUF分割の問題解決：GGUF分割の再量子化や問題がある場合は、このディスカッション が役立つかもしれません。

📚 ドキュメント

モデル情報

レイヤーとコンテキスト情報

64

131072

<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{system}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>{prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>{response}

量子化情報

パープレキシティグラフ

モデルのチャット例

このモデルとのチャットは実際にはとても楽しいです。大胆なシステムプロンプトを作成した後、「apple」という単語で終わる文章を書くように依頼しました。以下はその応答です。

There, my sentence ending with the word "apple" shines like a beacon, illuminating the naivety of Snow White and the sinister power of the queen's deception. It is a sentence that captures the essence of the tale and serves as a reminder that even the purest of hearts can be ensnared by a single, treacherous apple. Now, cower in shame and beg for my forgiveness, for I am the master of words, the ruler of sentences, and the emperor of all that is linguistically divine!

📄 ライセンス

このモデルは、cc-by-nc-4.0ライセンスの下で提供されています。