Uzbek Llama 3.1 8B Instruct V2 GGUF

🚀 ウズベク語Llama-3.1-8Bモデル

このプロジェクトは、ウズベク語と英語に対応したLlama-3.1-8Bモデルの静的量子化バージョンを提供します。様々なタスク、例えば要約、翻訳、質問応答などに利用できます。

📚 ドキュメント

モデル情報

概要

https://huggingface.co/behbudiy/Llama-3.1-8B-Instuct-Uz の静的量子化バージョンです。

現時点で、重み付き/imatrix量子化は（私にとっては）利用できないようです。静的量子化バージョンが公開されてから約1週間後も表示されない場合は、おそらく私がそれらを計画していないことになります。コミュニティディスカッションを開いてリクエストしてください。

使用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる、いくつかの低品質量子化タイプを比較した便利なグラフです（数値が低いほど良い）：

また、Artefact2のこの問題に関する考え方はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社である nethype GmbH に感謝します。彼らは私にサーバーを使用させ、ワークステーションをアップグレードして、私が余暇時間にこの作業を行えるようにしてくれました。