A.X 4.0 Light Gguf

🚀 A.X 4.0 Light

A.X 4.0 Lightは、SKT AI Model Labによって開発された軽量型の大規模言語モデルです。オープンソースのQwen2.5モデルをベースに構築され、韓国語理解と企業向けデプロイメントに最適化されています。このモデルは、様々なベンチマークテストで優れた性能を発揮し、長文脈処理をサポートしており、標準版と軽量版の2種類のバージョンが用意されています。

🚀 クイックスタート

HuggingFace Transformersを使用する場合

• skt/A.X-4.0-Light を使用するには、transformers>=4.46.0 または最新バージョンが必要です。

pip install transformers>=4.46.0

使用例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "skt/A.X-4.0-Light"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = [
    {"role": "system", "content": "당신은 사용자가 제공하는 영어 문장들을 한국어로 번역하는 AI 전문가입니다."},
    {"role": "user", "content": "The first human went into space and orbited the Earth on April 12, 1961."},
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        input_ids,
        max_new_tokens=128,
        do_sample=False,
    )

len_input_prompt = len(input_ids[0])
response = tokenizer.decode(output[0][len_input_prompt:], skip_special_tokens=True)
print(response)
# Output:
# 1961년 4월 12일, 최초의 인간이 우주로 나가 지구를 공전했습니다.

vLLMを使用する場合

• ツール呼び出し機能を使用するには、vllm>=v0.6.4.post1 または最新バージョンが必要です。

pip install vllm>=v0.6.4.post1
# ツール呼び出し機能を有効にしたくない場合は、以下のvLLMオプションをコメントアウトしてください
VLLM_OPTION="--enable-auto-tool-choice --tool-call-parser hermes"
vllm serve skt/A.X-4.0-Light $VLLM_OPTION

使用例

from openai import OpenAI

def call(messages, model):
    completion = client.chat.completions.create(
        model=model,
        messages=messages,
    )
    print(completion.choices[0].message)

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="api_key"
)
model = "skt/A.X-4.0-Light"
messages = [{"role": "user", "content": "에어컨 여름철 적정 온도는? 한줄로 답변해줘"}]
call(messages, model)
# Output:
# ChatCompletionMessage(content='여름철 적정 에어컨 온도는 일반적으로 24-26도입니다.', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=[], reasoning_content=None)

messages = [{"role": "user", "content": "What is the appropriate temperature for air conditioning in summer? Response in a single sentence."}]
call(messages, model)
# Output:
# ChatCompletionMessage(content='The appropriate temperature for air conditioning in summer generally ranges from 72°F to 78°F (22°C to 26°C) for comfort and energy efficiency.', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=[], reasoning_content=None)

ツール呼び出しの例

from openai import OpenAI


def call(messages, model):
    completion = client.chat.completions.create(
        model=model,
        messages=messages,
        tools=tools
    )
    print(completion.choices[0].message)


client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="api_key"
)
model = "skt/A.X-4.0-Light"

calculate_discount = {
    "type": "function",
    "function": {
        "name": "calculate_discount",
        "description": "원가격과 할인율(퍼센트 단위)을 입력받아 할인된 가격을계산한다.",
        "parameters": {
            "type": "object",
            "properties": {
                "original_price": {
                    "type": "number",
                    "description": "상품의 원래 가격"
                },
                "discount_percentage": {
                    "type": "number",
                    "description": "적용할 할인율(예: 20% 할인의 경우 20을 입력)"
                }
            },
            "required": ["original_price", "discount_percentage"]
        }
    }
}
get_exchange_rate = {
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "두 통화 간의 환율을 가져온다.",
        "parameters": {
            "type": "object",
            "properties": {
                "base_currency": {
                    "type": "string",
                    "description": "The currency to convert from."
                },
                "target_currency": {
                    "type": "string",
                    "description": "The currency to convert to."
                }
            },
            "required": ["base_currency", "target_currency"]
        }
    }
}
tools = [calculate_discount, get_exchange_rate]

### Slot filling ###
messages = [{"role": "user", "content": "우리가 뭘 사야되는데 원래 57600원인데 직원할인 받을 수 있거든? 할인가좀 계산해줘"}]
call(messages, model)
# Output:
# ChatCompletionMessage(content='할인율을 알려주시겠습니까?', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=[], reasoning_content=None)


### Function calling ###
messages = [
    {"role": "user", "content": "우리가 뭘 사야되는데 원래 57600원인데 직원할인 받을 수 있거든? 할인가좀 계산해줘"},
    {"role": "assistant", "content": "할인율을 알려주시겠습니까?"},
    {"role": "user", "content": "15% 할인 받을 수 있어."},
]
call(messages, model)
# Output: 
# ChatCompletionMessage(content=None, refusal=None, role='assistant', audio=None, function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='chatcmpl-tool-7778d1d9fca94bf2acbb44c79359502c', function=Function(arguments='{"original_price": 57600, "discount_percentage": 15}', name='calculate_discount'), type='function')], reasoning_content=None)


### Completion ###
messages = [
    {"role": "user", "content": "우리가 뭘 사야되는데 원래 57600원인데 직원할인 받을 수 있거든? 할인가좀 계산해줘"},
    {"role": "assistant", "content": "할인율을 알려주시겠습니까?"},
    {"role": "user", "content": "15% 할인 받을 수 있어."},
    {"role": "tool", "tool_call_id": "random_id", "name": "calculate_discount", "content": "{\"original_price\": 57600, \"discount_percentage\": 15, \"discounted_price\": 48960.0}"}
]
call(messages, model)
# Output: 
# ChatCompletionMessage(content='57600원의 상품에서 15% 할인을 적용하면, 할인된 가격은 48960원입니다.', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=[], reasoning_content=None)

✨ 主な機能

• 卓越した韓国語能力：韓国語評価ベンチマークテストKMMLUで78.3のスコアを獲得し、GPT - 4o（72.5）を上回りました。
• 深い文化理解：韓国文化とコンテキスト理解のベンチマークテストCLICkで83.5点を獲得し、GPT - 4o（80.2）を上回りました。
• 効率的なトークン使用：同じ韓国語入力に対して、A.X 4.0はGPT - 4oより約33％少ないトークンを使用し、よりコスト効率と処理効率を実現しています。
• 柔軟なデプロイメント方法：72Bパラメータの標準モデル（A.X 4.0）と7Bの軽量版（A.X 4.0 Light）を提供しています。
• 長文脈処理能力：最大131,072個のトークンをサポートし、長い文書や会話の理解を可能にします。（軽量版モデルは最大16,384個のトークンをサポート）

📦 インストール

HuggingFace Transformersを使用する場合

transformers>=4.46.0 バージョンをインストールする必要があります：

pip install transformers>=4.46.0

vLLMを使用する場合

vllm>=v0.6.4.post1 バージョンをインストールする必要があります：

pip install vllm>=v0.6.4.post1

📚 ドキュメント

モデル性能

ベンチマークテスト結果

標準モデルの性能

軽量版モデルの性能

📄 ライセンス

A.X 4.0 Light モデルは Apache License 2.0 に準拠しています。

引用

@article{SKTAdotX4Light,
  title={A.X 4.0 Light},
  author={SKT AI Model Lab},
  year={2025},
  url={https://huggingface.co/skt/A.X-4.0-Light}
}

連絡先

• ビジネスと協力に関する問い合わせ：a.x@sk.com