Llama 3.1 8B Instuct Uz GGUF

🚀 Llama-3.1-8B-Instuct-Uz モデル

このプロジェクトは、behbudiy/Llama-3.1-8B-Instuct-Uz ベースモデルを使用した静的量子化モデルを提供します。複数のデータセットを用いて訓練され、ウズベク語と英語に対応しています。

🚀 クイックスタート

このモデルの概要や使用方法について説明します。

✨ 主な機能

• テキスト生成推論：様々なテキスト生成タスクに対応
• 要約：文章の要約を生成
• 翻訳：ウズベク語と英語の翻訳を行う
• 質問応答：質問に対する回答を生成

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このREADMEには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデル情報

モデルについて

https://huggingface.co/behbudiy/Llama-3.1-8B-Instuct-Uz の静的量子化モデルです。現時点では、重み付き/インマトリックス量子化は利用できない可能性があります。静的量子化モデルが公開されてから約1週間後も利用できない場合は、計画されていない可能性があります。必要な場合は、コミュニティディスカッションを開いてリクエストしてください。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。複数のパートファイルを連結する方法なども記載されています。

提供される量子化モデル

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです。）

ikawrakowによる、いくつかの低品質量子化タイプを比較した便利なグラフです。（数値が低いほど良い）

Artefact2によるこの問題に関する考察もあります。 https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、こちら を参照してください。

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルは llama3.1 ライセンスの下で提供されています。

謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーの使用とワークステーションのアップグレードを許可していただき、感謝いたします。