Orpheus Bangla GGUF

🚀 Orpheus-bangla-ttsの静的量子化モデル

このプロジェクトは、Orpheus-bangla-ttsモデルの静的量子化バージョンを提供します。量子化により、モデルのメモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

このモデルは、https://huggingface.co/asif00/orpheus-bangla-tts の静的量子化バージョンです。

注意事項

重み付き/イマトリックスの量子化は、現時点では利用できない可能性があります。静的量子化が公開されてから約1週間後にまだ表示されない場合、私はそれらを計画していない可能性があります。コミュニティディスカッションを開いてリクエストすることができます。

💻 使用例

基本的な使用法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADMEを参照してください。このドキュメントには、マルチパートファイルの結合方法など、詳細な情報が含まれています。

📚 ドキュメント

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質を反映しているわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです。）

こちらは、ikawrakowによるいくつかの低品質量子化タイプを比較した便利なグラフです（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考え方はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

🙏 謝辞

私の会社であるnethype GmbHに感謝します。彼らは私にサーバーを使用させ、ワークステーションをアップグレードして、私が余暇時間にこの作業を行えるようにしてくれました。また、@nicobossにも感謝します。彼は私に彼のプライベートスーパーコンピューターへのアクセスを許可し、私が通常よりもはるかに多くのイマトリックス量子化を、より高い品質で提供できるようにしてくれました。