Llama 4 Scout 17B 16E Instruct GGUF

🚀 Llama-4-Scout-17B-16E-Instruct-GGUF

このプロジェクトは、Llama-4-Scout-17B-16E-Instructモデルの量子化バージョンを提供しています。多言語に対応しており、LlamaEdgeを通じて実行できます。

🚀 クイックスタート

実行環境

現在はLlama-4のテキストモードのみサポートしています！

オリジナルモデル

unsloth/Llama-4-Scout-17B-16E-Instruct

LlamaEdgeを使用した実行

バージョン要件

LlamaEdgeのバージョンは v0.16.16 以上が必要です。

プロンプトテンプレート

• プロンプトタイプ：llama-4-chat
• プロンプト文字列

<|begin_of_text|><|header_start|>system<|header_end|>

{system_prompt}<|eot|><|header_start|>user<|header_end|>

{user_message_1}<|eot|><|header_start|>assistant<|header_end|>

{assistant_message_1}<|eot|><|header_start|>user<|header_end|>

{user_message_2}<|eot|>
<|header_start|>assistant<|header_end|>

• 例：ツールの使用

  • ユーザーの質問とツール情報を含むプロンプト

    例を表示するにはクリック

    ```text <|begin_of_text|><|header_start|>system<|header_end|>

    You are a helpful assistant.<|eot|> <|header_start|>user<|header_end|>

    Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.

    Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.

    [ { "type": "function", "function": { "name": "get_current_weather", "description": "Get the current weather in a given location", "parameters": { "type": "object", "properties": { "location": { "type": "string", "description": "The city and state, e.g. San Francisco, CA" }, "unit": { "type": "string", "description": "The temperature unit to use. Infer this from the users location.", "enum": [ "celsius", "fahrenheit" ] } }, "required": [ "location", "unit" ] } } }, { "type": "function", "function": { "name": "predict_weather", "description": "Predict the weather in 24 hours", "parameters": { "type": "object", "properties": { "location": { "type": "string", "description": "The city and state, e.g. San Francisco, CA" }, "unit": { "type": "string", "description": "The temperature unit to use. Infer this from the users location.", "enum": [ "celsius", "fahrenheit" ] } }, "required": [ "location", "unit" ] } } }, { "type": "function", "function": { "name": "sum", "description": "Calculate the sum of two numbers", "parameters": { "type": "object", "properties": { "a": { "type": "integer", "description": "the left hand side number" }, "b": { "type": "integer", "description": "the right hand side number" } }, "required": [ "a", "b" ] } } } ]

    Question: How is the weather of Beijing, China in celsius?<|eot|><|header_start|>assistant<|header_end|>

    </details>
    

  • ツールの結果を含むプロンプト

    例を表示するにはクリック

    ```text <|begin_of_text|><|header_start|>system<|header_end|>

    You are a helpful assistant.<|eot|> <|header_start|>user<|header_end|>

    How is the weather of Beijing, China in celsius?<|eot|> <|header_start|>assistant<|header_end|>

    {"name":"get_current_weather","arguments":"{"location":"Beijing, China","unit":"celsius"}"}<|eot|> <|header_start|>ipython<|header_end|>

    {"temperature":"30","unit":"celsius"}<|eot|><|header_start|>assistant<|header_end|>

    </details>
    
    

コンテキストサイズ

10M

LlamaEdgeサービスとして実行

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama-4-Scout-17B-16E-Instruct-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template llama-4-chat \
  --ctx-size 1000000 \
  --model-name Llama-4-Scout

LlamaEdgeコマンドアプリケーションとして実行

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama-4-Scout-17B-16E-Instruct-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template llama-4-chat \
  --ctx-size 1000000

📦 量子化されたGGUFモデル

llama.cpp b5074を使用して量子化されています。

📄 ライセンス

ライセンスタイプ：other ライセンス名：llama4

📚 ドキュメント