Yi Coder 1.5B Chat GGUF

🚀 MaziyarPanahi/Yi-Coder-1.5B-Chat-GGUF

このプロジェクトは、01-ai/Yi-Coder-1.5B-Chat のGGUF形式のモデルファイルを提供します。GGUF形式は、新しいモデル保存形式で、多くのクライアントやライブラリでサポートされています。

🚀 クイックスタート

このセクションでは、MaziyarPanahi/Yi-Coder-1.5B-Chat-GGUFモデルについての基本的な情報を提供します。

• モデル作成者: 01-ai
• オリジナルモデル: 01-ai/Yi-Coder-1.5B-Chat

✨ 主な機能

• 様々な量子化ビット数（2-bit、3-bit、4-bit、5-bit、6-bit、8-bit）のモデルが提供されています。
• GGUF形式を使用しており、多くのクライアントやライブラリでサポートされています。

📚 ドキュメント

説明

MaziyarPanahi/Yi-Coder-1.5B-Chat-GGUF は、01-ai/Yi-Coder-1.5B-Chat のGGUF形式のモデルファイルを含んでいます。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これは、llama.cppでサポートされなくなったGGMLの代替形式です。

以下は、GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAPIサーバーを備えたPythonライブラリです。
• LM Studio、WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。2023年11月27日現在、Linux版はベータ版です。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた完全な機能を持つWeb UIです。特にストーリーテリングに適しています。
• GPT4All、Windows、Linux、およびmacOSをサポートし、完全なGPUアクセラレーションを備えた無料でオープンソースのローカル実行GUIです。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデル選択を容易にする完全なモデルライブラリを含んでいます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• candle、パフォーマンスに重点を置いたRustのMLフレームワークで、GPUサポートと使いやすさを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。なお、この記事の執筆時点（2023年11月27日）では、ctransformersは長い間更新されておらず、多くの最近のモデルをサポートしていません。

📄 ライセンス

ドキュメントにライセンス情報が記載されていないため、このセクションは省略されました。

🔧 技術詳細

ドキュメントに技術詳細に関する具体的な説明が記載されていないため、このセクションは省略されました。

💻 使用例

ドキュメントにコード例が記載されていないため、このセクションは省略されました。

📦 インストール

ドキュメントにインストール手順が記載されていないため、このセクションは省略されました。

🔝 特別な感謝

特別な感謝を Georgi Gerganov と llama.cpp に取り組んでいる全チームに送ります。彼らの努力により、このすべてが可能になりました。