Meltemi 7B Instruct V1.5 GGUF

🚀 ilsp/Meltemi-7B-Instruct-v1.5 - GGUF

このリポジトリには、ilsp/Meltemi-7B-Instruct-v1.5 のGGUF形式のモデルファイルが含まれています。

これらのファイルは、TensorBlock が提供するマシンを使用して量子化されており、コミット b4011 以降のllama.cppと互換性があります。

✨ 主な機能

当社のプロジェクト

プロジェクト名	説明
Awesome MCP Servers	このプロジェクトは、Model Context Protocol (MCP) サーバーの包括的なコレクションです。
TensorBlock Studio	これは、軽量でオープンかつ拡張可能なマルチLLMインタラクションスタジオです。

📦 インストール

コマンドラインによるダウンロード

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/Meltemi-7B-Instruct-v1.5-GGUF --include "Meltemi-7B-Instruct-v1.5-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターンを指定して複数のモデルファイルをダウンロードする場合は、以下のように試すことができます。

huggingface-cli download tensorblock/Meltemi-7B-Instruct-v1.5-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 ドキュメント

プロンプトテンプレート

<|system|>
{system_prompt}</s>
<|user|>
{prompt}</s>
<|assistant|>

モデルファイル仕様

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。