A.X 3.1 Light

🚀 A.X 3.1 Light

A.X 3.1 Light（読み方：「A dot X」）は、韓国語理解と企業向けデプロイに最適化された軽量の大規模言語モデル（LLM）です。この独立したAIモデルは、SKTによって完全に自社開発され、モデルアーキテクチャ、データキュレーション、トレーニングまで、すべてSKTの独自のスーパーコンピューティングインフラストラクチャであるTITAN上で行われました。このモデルは、主に韓国語に焦点を当てた、約1.65兆トークンの高品質な多言語コーパスを用いてゼロからトレーニングされています。データ品質に重点を置くことで、A.X 3.1 Lightは、トレーニングコーパスのサイズに比べて、韓国語LLMの中でパレート最適なパフォーマンスを達成し、高効率かつコスト効果の高いコンピューティング使用を可能にしています。

🤗 モデル | 🖥️ Github

✨ 主な機能

• 真正な韓国の独立AI：A.X 3.1 Lightは、SKTの独自のGPUインフラストラクチャを使用して、完全に自社でキュレーションされた高品質な多言語データセットでトレーニングされています。
• 高効率な多言語LLM：A.X 3.1 Lightは、比較的小規模な1.65兆トークンのトレーニングサイズにもかかわらず、オープンソースの韓国語LLMの中で優れたパフォーマンスを示しています。
• 卓越した韓国語能力：A.X 3.1 Lightは、韓国語評価の代表的なベンチマークであり、MMLUを韓国語に特化したKMMLUで61.7点を獲得し、他の韓国語特化モデルを上回っています。
• 深い韓国語理解：A.X 3.1 Lightは、韓国語の高度な言語タスクのベンチマークであるKoBALT - 700で27.43点を獲得し、他の韓国語特化モデルを上回っています。
• 効率的なトークン使用：A.X 3.1 Lightは、同等の韓国語入力を処理するために、GPT - 4oよりも約33％少ないトークンを必要とし、よりコスト効率が高く、計算効率の良い推論を可能にします。
• 長文脈対応：A.X 3.1 Lightは最大32,768トークンをサポートします。

🔧 技術詳細

A.X 3.1 Lightは、SKTによってエンドツーエンドで開発された効率的な独立AIモデルで、モデルアーキテクチャ、データキュレーション、インフラストラクチャデプロイメント、最適化までを網羅しています。

モデルアーキテクチャ仕様

高品質データパイプラインと戦略的ミックス

• 様々なドメインから収集された20兆トークンのトレーニングデータセットを収集し、キュレーションしました。
• データセット全体は、SKTの独自のデータパイプラインを通じて処理され、合成データ生成と包括的な品質フィルタリングが行われました。
• A.X 3.1 Lightのトレーニングには、韓国語に焦点を当てた多言語コーパスである合計1.65兆トークンが使用されました。

パレート最適なコンピューティング効率

A.X 3.1 Lightは、同レベルのパフォーマンスを持つモデルと比較して、5から6倍低い計算コストを達成しています。厳格なデータキュレーションとSTEMに焦点を当てたデータを用いた2段階トレーニングにより、低いFLOPsで競争力のあるパフォーマンスを実現しています。

📚 ベンチマーク結果

🚀 クイックスタート

HuggingFace Transformersを使用する場合

skt/A.X-3.1-Lightを使用するには、transformers>=4.46.0または最新バージョンが必要です。

pip install transformers>=4.46.0

使用例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "skt/A.X-3.1-Light"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = [
    {"role": "system", "content": "당신은 사용자가 제공하는 영어 문장들을 한국어로 번역하는 AI 전문가입니다."},
    {"role": "user", "content": "The first human went into space and orbited the Earth on April 12, 1961."},
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        input_ids,
        max_new_tokens=128,
        do_sample=False,
    )

len_input_prompt = len(input_ids[0])
response = tokenizer.decode(output[0][len_input_prompt:], skip_special_tokens=True)
print(response)
# 出力:
# 1961년 4월 12일, 최초의 인간이 우주에 나가 지구를 궤도를 돌았습니다.

vLLMを使用する場合

ツール使用機能を使用するには、vllm>=v0.6.4.post1または最新バージョンが必要です。

pip install vllm>=v0.6.4.post1
# ツール使用機能を有効にしたくない場合は、以下のvLLMオプションをコメントアウトしてください
VLLM_OPTION="--enable-auto-tool-choice --tool-call-parser hermes"
vllm serve skt/A.X-3.1-Light $VLLM_OPTION

使用例

from openai import OpenAI

def call(messages, model):
    completion = client.chat.completions.create(
        model=model,
        messages=messages,
    )
    print(completion.choices[0].message)

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="api_key"
)
model = "skt/A.X-3.1-Light"
messages = [{"role": "user", "content": "에어컨 여름철 적정 온도는? 한줄로 답변해줘"}]
call(messages, model)
# 出力:
# 에어컨 여름철 적정 온도는 24~26도입니다.

messages = [{"role": "user", "content": "What is the appropriate temperature for air conditioning in summer? Respond in a single sentence."}]
call(messages, model)
# 出力:
# The appropriate temperature for air conditioning in summer is generally set between 24 to 26°C for optimal comfort and energy efficiency.

ツール使用の例

from openai import OpenAI


def call(messages, model):
    completion = client.chat.completions.create(
        model=model,
        messages=messages,
        tools=tools
    )
    print(completion.choices[0].message)


client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="api_key"
)
model = "skt/A.X-3.1-Light"

calculate_discount = {
    "type": "function",
    "function": {
        "name": "calculate_discount",
        "description": "원가격과 할인율(퍼센트 단위)을 입력받아 할인된 가격을계산한다.",
        "parameters": {
            "type": "object",
            "properties": {
                "original_price": {
                    "type": "number",
                    "description": "상품의 원래 가격"
                },
                "discount_percentage": {
                    "type": "number",
                    "description": "적용할 할인율"
                }
            },
            "required": ["original_price", "discount_percentage"]
        }
    }
}
get_exchange_rate = {
    "type": "function",
    "function": {
        "name": "get_exchange_rate",
        "description": "두 통화 간의 환율을 가져온다.",
        "parameters": {
            "type": "object",
            "properties": {
                "base_currency": {
                    "type": "string",
                    "description": "The currency to convert from."
                },
                "target_currency": {
                    "type": "string",
                    "description": "The currency to convert to."
                }
            },
            "required": ["base_currency", "target_currency"]
        }
    }
}
tools = [calculate_discount, get_exchange_rate]

### スロット埋め ###
messages = [{"role": "user", "content": "우리가 뭘 사야되는데 원가가 57600원인데 직원할인 받으면 얼마야?"}]
call(messages, model)
# 出力:
# ChatCompletionMessage(content='직원 할인을 적용하기 위해서는 할인율을 알 수 있어야 합니다. 할인율을 알려주실 수 있나요?', role='assistant', function_call=None, tool_calls=[], reasoning_content=None)


### 関数呼び出し ###
messages = [
    {"role": "user", "content": "우리가 뭘 사야되는데 원가가 57600원인데 직원할인 받으면 얼마야?"},
    {"role": "assistant", "content": "직원 할인을 적용하기 위해서는 할인율을 알 수 있어야 합니다. 할인율을 알려주실 수 있나요?"},
    {"role": "user", "content": "15% 할인 받을 수 있어."},
]
call(messages, model)
# 出力: 
# ChatCompletionMessage(content=None, role='assistant', function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='chatcmpl-tool-3ebf11847364450daf363039db80cc50', function=Function(arguments='{"original_price": 57600, "discount_percentage": 15}', name='calculate_discount'), type='function')], reasoning_content=None)


### 完了 ###
messages = [
    {"role": "user", "content": "우리가 뭘 사야되는데 원가가 57600원인데 직원할인 받으면 얼마야?"},
    {"role": "assistant", "content": ""},
    {"role": "user", "content": "15% 할인 받을 수 있어."},
    {"role": "tool", "tool_call_id": "random_id", "name": "calculate_discount", "content": "{\"original_price\": 57600, \"discount_percentage\": 15, \"discounted_price\": 48960.0}"}
]
call(messages, model)
# 出力: 
# ChatCompletionMessage(content='57,600원의 상품에 15% 할인을 적용하면, 할인된 가격은 48,960원입니다.', role='assistant', function_call=None, tool_calls=[], reasoning_content=None)

📄 ライセンス

A.X 3.1 Lightモデルは、Apache License 2.0の下でライセンスされています。

引用

@article{SKTAdotX3.1Light,
  title={A.X 3.1 Light},
  author={SKT AI Model Lab},
  year={2025},
  url={https://huggingface.co/skt/A.X-3.1-Light}
}

お問い合わせ

• ビジネス・パートナーシップに関するお問い合わせ: a.x@sk.com