Kodify Nano GGUF

🚀 Kodify-Nano-GGUF 🤖

Kodify-Nano-GGUFは、MTSAIR/Kodify-NanoモデルのGGUFバージョンです。これは、Ollama/llama.cppを使用したCPU/GPU推論に最適化されています。最小限のリソースでコード開発タスクを実行できる軽量な大規模言語モデル（LLM）です。

🚀 クイックスタート

イメージの使用方法

Kodify NanoをOLLAMAで実行するには、2つの方法があります。

1. Dockerを使用する方法
2. ローカルで実行する方法（Dockerよりも高速な応答を提供します）

方法1：Docker内のOLLAMAでKodify Nanoを実行する

NVIDIA GPUを使用しない場合：

docker run -e OLLAMA_HOST=0.0.0.0:8985 -p 8985:8985 --name ollama -d ollama/ollama

NVIDIA GPUを使用する場合：

docker run --runtime nvidia -e OLLAMA_HOST=0.0.0.0:8985 -p 8985:8985 --name ollama -d ollama/ollama

⚠️ 重要提示

• Dockerがインストールされ、実行中であることを確認してください。
• ポート8985が使用中の場合は、利用可能なポートに置き換え、プラグインの設定を更新してください。

モデルをロードする：

docker exec ollama ollama pull hf.co/MTSAIR/Kodify-Nano-GGUF

モデルをリネームする：

docker exec ollama ollama cp hf.co/MTSAIR/Kodify-Nano-GGUF kodify_nano

モデルを起動する：

docker exec ollama ollama run kodify_nano

方法2：OLLAMAでKodify Nanoをローカルで実行する

1. OLLAMAをダウンロードする：
   https://ollama.com/download
2. ポートを設定する：

export OLLAMA_HOST=0.0.0.0:8985

⚠️ 重要提示

ポート8985が使用中の場合は、ポートを置き換え、プラグインの設定を更新してください。

3. OLLAMAサーバーを起動する：

ollama serve &

4. モデルをダウンロードする：

ollama pull hf.co/MTSAIR/Kodify-Nano-GGUF

5. モデルをリネームする：

ollama cp hf.co/MTSAIR/Kodify-Nano-GGUF kodify_nano

6. モデルを実行する：

ollama run kodify_nano

📦 インストール

Visual Studio Code用

1. 最新のKodifyプラグインをVS Code用にダウンロードします。
2. 左サイドバーの拡張機能パネルを開きます。
3. VSIXからインストール... をクリックし、ダウンロードしたプラグインファイルを選択します。

JetBrains IDE用

1. 最新のKodifyプラグインをJetBrains用にダウンロードします。
2. IDEを開き、設定 > プラグインに移動します。
3. 歯車アイコン（⚙️）をクリックし、ディスクからプラグインをインストール... を選択します。
4. ダウンロードしたプラグインファイルを選択します。
5. 指示に従ってIDEを再起動します。

プラグイン設定でのポート変更（Visual Studio CodeとJetBrains用）

Dockerのポートを8985から変更した場合は、プラグインのconfig.jsonを更新します。

1. IDEで任意のファイルを開きます。
2. Kodifyサイドバーを開きます。
   • VS Code：Ctrl+L（MacではCmd+L）。
   • JetBrains：Ctrl+J（MacではCmd+J）。
3. config.jsonファイルにアクセスします。
   • 方法1：設定を開く（VS Code）またはKodify設定（JetBrains）をクリックし、設定 > チャット設定 > 設定ファイルを開くに移動します。
   • 方法2：Kodifyサイドバーの歯車アイコン（⚙️）をクリックします。
4. tabAutocompleteModelとmodelsの下のapiBaseポートを変更します。
5. ファイルを保存します（Ctrl+Sまたはファイル > 保存）。

🔧 技術詳細

利用可能な量子化バリアント

• Kodify_Nano_q4_k_s.gguf（バランスが良い）
• Kodify_Nano_q8_0.gguf（高品質）
• Kodify_Nano.gguf（最良の品質、量子化なし）

huggingface_hubを使用してダウンロードするには：

pip install huggingface-hub
python -c "from huggingface_hub import hf_hub_download; hf_hub_download(repo_id='MTSAIR/Kodify-Nano-GGUF', filename='Kodify_Nano_q4_k_s.gguf', local_dir='./models')"

💻 使用例

基本的な使用法

import ollama

response = ollama.generate(
    model="kodify-nano",
    prompt="Write a Python function to calculate factorial",
    options={
        "temperature": 0.4,
        "top_p": 0.8,
        "num_ctx": 8192
    }
)

print(response['response'])

高度な使用法

response = ollama.generate(
    model="kodify-nano",
    prompt="""<s>[INST] 
Write a Python function that:
1. Accepts a list of numbers
2. Returns the median value
[/INST]""",
    options={"max_tokens": 512}
)

### コードリファクタリング
response = ollama.generate(
    model="kodify-nano",
    prompt="""<s>[INST] 
Refactor this Python code:

def calc(a,b):
    s = a + b
    d = a - b
    p = a * b
    return s, d, p
[/INST]""",
    options={"temperature": 0.3}
)

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。