A.X 3.1 Light

🚀 A.X 3.1 Light

A.X 3.1 Light 是一款專為韓語理解和企業部署優化的輕量級大語言模型（LLM）。該模型由SKT完全自主研發，從模型架構設計、數據整理到訓練，均在SKT自主的超級計算基礎設施TITAN上完成。它基於包含1.65萬億標記的高質量多語言語料庫從頭開始訓練，尤其注重韓語數據。憑藉對數據質量的嚴格把控，A.X 3.1 Light在韓語大語言模型中，相對於其訓練語料庫規模實現了帕累托最優性能，從而實現了高效且經濟的計算資源利用。

🤗 模型 | 🖥️ Github

✨ 主要特性

• 純正的韓國主權AI：A.X 3.1 Light在高質量多語言數據集上進行訓練，該數據集由SKT內部完全整理，並使用了SKT自主的GPU基礎設施。
• 高效的多語言LLM：儘管A.X 3.1 Light的訓練規模相對較小，僅為1.65萬億標記，但在開源韓語大語言模型中表現出色。
• 卓越的韓語能力：在KMMLU（韓語語言評估的領先基準，是MMLU的韓語特定改編版本）中，A.X 3.1 Light取得了61.7分的成績，超越了其他韓語特定模型。
• 深入的韓語理解：在KoBALT - 700（韓語高級語言任務的基準）中，A.X 3.1 Light獲得了27.43分，優於其他韓語專業模型。
• 高效的標記使用：處理同等韓語輸入時，A.X 3.1 Light所需的標記比GPT - 4o約少33%，從而實現了更具成本效益和計算效率的推理。
• 長上下文處理能力：A.X 3.1 Light支持多達32,768個標記。

🔧 技術細節

A.X 3.1 Light代表了一種高效的主權AI模型，由SKT端到端開發，涵蓋了模型架構、數據整理、基礎設施部署和優化等方面。

模型架構規格

高質量數據管道與策略性混合

• 收集並整理了一個包含20萬億標記的訓練數據集，數據來源廣泛。
• 整個數據集通過SKT自主的數據管道進行處理，包括合成數據生成和全面的質量過濾。
• 訓練A.X 3.1 Light時，總共使用了1.65萬億標記，這些標記來自以韓語為重點的多語言語料庫。

帕累托最優計算效率

與性能相近的模型相比，A.X 3.1 Light的計算成本降低了5到6倍。嚴格的數據整理和基於STEM數據的兩階段訓練，使其在減少浮點運算次數的情況下仍能實現有競爭力的性能。

📊 基準測試結果

🚀 快速開始

使用HuggingFace Transformers

使用 skt/A.X-3.1-Light 需要 transformers>=4.46.0 或最新版本。

pip install transformers>=4.46.0

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "skt/A.X-3.1-Light"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = [
    {"role": "system", "content": "당신은 사용자가 제공하는 영어 문장들을 한국어로 번역하는 AI 전문가입니다."},
    {"role": "user", "content": "The first human went into space and orbited the Earth on April 12, 1961."},
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        input_ids,
        max_new_tokens=128,
        do_sample=False,
    )

len_input_prompt = len(input_ids[0])
response = tokenizer.decode(output[0][len_input_prompt:], skip_special_tokens=True)
print(response)
# Output:
# 1961년 4월 12일, 최초의 인간이 우주에 나가 지구를 궤도를 돌았습니다.

使用vLLM

使用工具使用功能需要 vllm>=v0.6.4.post1 或最新版本。

pip install vllm>=v0.6.4.post1
# 如果您不想激活工具使用功能，只需註釋掉下面的vLLM選項
VLLM_OPTION="--enable-auto-tool-choice --tool-call-parser hermes"
vllm serve skt/A.X-3.1-Light $VLLM_OPTION

基礎用法

from openai import OpenAI

def call(messages, model):
    completion = client.chat.completions.create(
        model=model,
        messages=messages,
    )
    print(completion.choices[0].message)

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="api_key"
)
model = "skt/A.X-3.1-Light"
messages = [{"role": "user", "content": "에어컨 여름철 적정 온도는? 한줄로 답변해줘"}]
call(messages, model)
# Output:
# 에어컨 여름철 적정 온도는 24~26도입니다.

messages = [{"role": "user", "content": "What is the appropriate temperature for air conditioning in summer? Respond in a single sentence."}]
call(messages, model)
# Output:
# The appropriate temperature for air conditioning in summer is generally set between 24 to 26°C for optimal comfort and energy efficiency.

工具使用示例

from openai import OpenAI


def call(messages, model):
    completion = client.chat.completions.create(
        model=model,
        messages=messages,
        tools=tools
    )
    print(completion.choices[0].message)


client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="api_key"
)
model = "skt/A.X-3.1-Light"

calculate_discount = {
    "type": "function",
    "function": {
        "name": "calculate_discount",
        "description": "원가격과 할인율(퍼센트 단위)을 입력받아 할인된 가격을계산한다.",
        "parameters": {
            "type": "object",
            "properties": {
                "original_price": {
                    "type": "number",
                    "description": "상품의 원래 가격"
                },
                "discount_percentage": {
                    "type": "number",
                    "description": "적용할 할인율"
                }
            },
            "required": ["original_price", "discount_percentage"]
        }
    }
}
get_exchange_rate = {
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "두 통화 간의 환율을 가져온다.",
        "parameters": {
            "type": "object",
            "properties": {
                "base_currency": {
                    "type": "string",
                    "description": "The currency to convert from."
                },
                "target_currency": {
                    "type": "string",
                    "description": "The currency to convert to."
                }
            },
            "required": ["base_currency", "target_currency"]
        }
    }
}
tools = [calculate_discount, get_exchange_rate]

### 插槽填充 ###
messages = [{"role": "user", "content": "우리가 뭘 사야되는데 원가가 57600원인데 직원할인 받으면 얼마야?"}]
call(messages, model)
# Output:
# ChatCompletionMessage(content='직원 할인을 적용하기 위해서는 할인율을 알 수 있어야 합니다. 할인율을 알려주실 수 있나요?', role='assistant', function_call=None, tool_calls=[], reasoning_content=None)


### 函數調用 ###
messages = [
    {"role": "user", "content": "우리가 뭘 사야되는데 원가가 57600원인데 직원할인 받으면 얼마야?"},
    {"role": "assistant", "content": "직원 할인을 적용하기 위해서는 할인율을 알 수 있어야 합니다. 할인율을 알려주실 수 있나요?"},
    {"role": "user", "content": "15% 할인 받을 수 있어."},
]
call(messages, model)
# Output: 
# ChatCompletionMessage(content=None, role='assistant', function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='chatcmpl-tool-3ebf11847364450daf363039db80cc50', function=Function(arguments='{"original_price": 57600, "discount_percentage": 15}', name='calculate_discount'), type='function')], reasoning_content=None)


### 完成 ###
messages = [
    {"role": "user", "content": "우리가 뭘 사야되는데 원가가 57600원인데 직원할인 받으면 얼마야?"},
    {"role": "assistant", "content": ""},
    {"role": "user", "content": "15% 할인 받을 수 있어."},
    {"role": "tool", "tool_call_id": "random_id", "name": "calculate_discount", "content": "{\"original_price\": 57600, \"discount_percentage\": 15, \"discounted_price\": 48960.0}"}
]
call(messages, model)
# Output: 
# ChatCompletionMessage(content='57,600원의 상품에 15% 할인을 적용하면, 할인된 가격은 48,960원입니다.', role='assistant', function_call=None, tool_calls=[], reasoning_content=None)

📄 許可證

A.X 3.1 Light 模型採用 Apache License 2.0 許可。

引用

@article{SKTAdotX3.1Light,
  title={A.X 3.1 Light},
  author={SKT AI Model Lab},
  year={2025},
  url={https://huggingface.co/skt/A.X-3.1-Light}
}

聯繫我們

• 商務合作聯繫：a.x@sk.com