INTELLECT 2 GGUF

🚀 MaziyarPanahi/INTELLECT-2-GGUF

このプロジェクトは、PrimeIntellect/INTELLECT-2 のGGUF形式のモデルファイルを提供します。GGUFは新しいモデル形式で、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

このモデルを使用するには、まずサポートされているクライアントやライブラリを選択し、それに応じた手順でモデルを利用します。

✨ 主な機能

• 様々な量子化ビット数（2-bit、3-bit、4-bit、5-bit、6-bit、8-bit）のモデルを提供。
• GGUF形式を使用することで、多くのクライアントやライブラリでの利用が可能。

📚 ドキュメント

モデル情報

About GGUF

GGUFは2023年8月21日にllama.cppチームによって導入された新しい形式です。これはGGMLの代替となるもので、現在llama.cppではGGMLはサポートされていません。

以下はGGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、OpenAI互換APIサーバーを備えたPythonライブラリ。
• LM Studio、WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポート。2023年11月27日時点でLinux版はベータ版です。
• text-generation-webui、最も広く使われているウェブUIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポート。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた完全な機能を持つウェブUI。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、macOSをサポートする無料でオープンソースのローカル実行GUIで、完全なGPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深い独自機能を備えた素晴らしいウェブUIで、簡単なモデル選択のための完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、OpenAI互換AIサーバーを備えたPythonライブラリ。なお、このドキュメント作成時点（2023年11月27日）では、ctransformersは長時間更新されておらず、多くの最近のモデルをサポートしていません。

📄 ライセンス

ドキュメントにライセンス情報が記載されていないため、このセクションは省略されています。

🔧 技術詳細

ドキュメントに技術的な詳細が十分に記載されていないため、このセクションは省略されています。

📄 ライセンス

ドキュメントにライセンス情報が記載されていないため、このセクションは省略されています。

🔧 技術詳細

ドキュメントに技術的な詳細が十分に記載されていないため、このセクションは省略されています。

🤝 特別な感謝

特別な感謝を Georgi Gerganov と llama.cpp を開発している全チームに送ります。彼らの努力によってこのすべてが可能になりました。