Ichigo Llama3.1 S Instruct V0.4 GGUF

🚀 Ichigo-llama3.1-s-instruct-v0.4 の静的量子化モデル

このモデルは、音声言語モデルであり、音声テキストの変換を行うことができます。transformers ライブラリを使用して構築されており、Apache 2.0 ライセンスの下で公開されています。

📦 モデル情報

🚀 クイックスタート

概要

このモデルは、https://huggingface.co/Menlo/Ichigo-llama3.1-s-instruct-v0.4 の静的量子化バージョンです。重み付きの行列量子化データは、https://huggingface.co/mradermacher/Ichigo-llama3.1-s-instruct-v0.4-i1-GGUF で利用可能です。

使用方法

GGUF ファイルの使い方がわからない場合は、TheBloke の README を参照してください。ここには、マルチパートファイルの結合方法も含め、詳細な情報が記載されています。

💻 提供される量子化モデル

（サイズ順に並べられており、必ずしも品質順ではありません。IQ 量子化は、同じサイズの非 IQ 量子化よりも優れていることが多いです）

ikawrakow による、いくつかの低品質量子化タイプを比較した便利なグラフがあります（値が低いほど良い）：

また、Artefact2 のこの問題に関する考え方はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

📚 よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

🙏 謝辞

私の会社 nethype GmbH に感謝します。彼らは私にサーバーを使用させ、ワークステーションをアップグレードしてくれたおかげで、私は余暇時間にこの作業を行うことができました。

📄 ライセンス

このモデルは、Apache 2.0 ライセンスの下で公開されています。