Tesslate Tessa Rust T1 7B GGUF

🚀 TesslateのTessa-Rust-T1-7BのLlamacpp imatrix量子化バージョン

このプロジェクトは、TesslateのTessa-Rust-T1-7Bモデルの量子化バージョンです。llama.cppツールを使用して量子化処理を行い、さまざまなハードウェア条件で効率的に実行でき、テキスト生成タスクにより多くの選択肢を提供します。

🚀 クイックスタート

llama.cpp の b5173 バージョンを使用して量子化を行います。 元のモデルのアドレス：https://huggingface.co/Tesslate/Tessa-Rust-T1-7B すべての量子化モデルは、imatrixオプションと ここ のデータセットを使用して生成されています。

これらの量子化モデルは、LM Studio で実行することも、llama.cpp や他のllama.cppベースのプロジェクトを直接使用して実行することもできます。

✨ 主な機能

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

ダウンロードファイル

埋め込み/出力重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法を採用し、埋め込みと出力の重みをデフォルト値ではなくQ8_0に量子化しています。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Tesslate_Tessa-Rust-T1-7B-GGUF --include "Tesslate_Tessa-Rust-T1-7B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/Tesslate_Tessa-Rust-T1-7B-GGUF --include "Tesslate_Tessa-Rust-T1-7B-Q8_0/*" --local-dir ./

🔧 技術詳細

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8ファイルをダウンロードしていました。これらのファイルの重みは、ARMとAVXマシンのパフォーマンスを向上させるために、メモリ内で交差配置され、一度により多くのデータをロードします。

しかし、現在では「オンライン再パッキング」と呼ばれる重み処理方法があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングから恩恵を受ける場合、自動的にリアルタイムで処理されます。

llama.cppのビルドバージョン b4282 以降は、Q4_0_X_Xファイルを実行できなくなり、Q4_0を使用する必要があります。

また、少し良い品質を得たい場合は、IQ4_NLを使用できます。これは このPR のおかげで、ARM用に重みを再パッキングしますが、現在は4_4のみをサポートしています。ロード時間は長くなる可能性がありますが、全体的な速度は向上します。

ファイルの選択方法

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスを採用しています。

謝辞

kalomazeとDampfがimatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。 ZeroWwが埋め込み/出力実験に関する啓発をしてくれたことに感謝します。 LM Studioがこのプロジェクトをサポートしてくれたことに感謝します。

もし私の仕事をサポートしたい場合は、私のko-fiページにアクセスしてください：https://ko-fi.com/bartowski