Smallcloudai Refact 1 6B Fim Gguf

🚀 Refact-1_6B-fim - GGUF

このモデルは、コード生成に特化したモデルで、多くの既存モデルを上回る性能を持ち、IDEでのコード補完に最適です。

🚀 クイックスタート

このモデルは、gguf形式で提供されており、llama.cppなどのggmlライブラリを使用するソフトウェアで利用できます。

✨ 主な機能

• 高性能なコード生成：HumanEvalのpass@1やpass@10などの指標で、多くの既存モデルを上回る性能を示します。
• 多様な量子化バリアント：Legacy quantsとK-quantsの両方の量子化バリアントが用意されており、ユーザーのニーズに合わせて選択できます。

📦 インストール

このセクションでは、具体的なインストール手順が記載されていません。

💻 使用例

このセクションでは、具体的なコード例が記載されていません。

📚 ドキュメント

モデルの基本情報

量子化バリアント

Legacy quants

Q4_0、Q4_1、Q5_0、Q5_1およびQ8はlegacyの量子化タイプです。ただし、いくつかのモデルが新しいK-quantsと互換性がない場合があるため、完全にサポートされています。

⚠️ 重要提示

以前は「互換性がない」とされていたモデルでも、K-quantsを使用する新しいオプションがありますが、これにはいくつかのフォールバックソリューションが含まれ、「本物の」K-quantsではなくなります。詳細は、影響を受けるモデルの説明を参照してください。（主にFalcon 7bおよびStarcoderモデルを指します）

K-quants

K-quantsは、モデルの特定の部分で異なるレベルの量子化を行うことで、パフォーマンス、ファイルサイズ、メモリ負荷を最適化することを目的としています。可能な場合は、K-quantsを使用してください。Q6_Kを使用すると、元のモデルとの品質の違いを見分けるのが難しい場合があります。同じ質問をモデルに2回投げかけると、品質の違いがより大きくなることがあります。

モデルの性能比較

🔧 技術詳細

このセクションでは、具体的な技術詳細が記載されていません。

📄 ライセンス

このモデルは、bigscience-openrail-mライセンスの下で提供されています。