$ podman run --rm -it --device nvidia.com/gpu=all -p 8000:8000 \
 --ipc=host \
--env "HUGGING_FACE_HUB_TOKEN=$HF_TOKEN" \
--env "HF_HUB_OFFLINE=0" -v ~/.cache/vllm:/home/vllm/.cache \
--name=vllm \
registry.access.redhat.com/rhaiis/rh-vllm-cuda \
vllm serve \
--tensor-parallel-size 8 \
--max-model-len 32768  \
--enforce-eager --model RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16

詳細はRed Hat AI推論サーバードキュメントを参照してください。

# Red Hatレジストリからdocker経由でモデルをダウンロード
# 注: --model-dirが指定されていない場合、モデルは~/.cache/instructlab/modelsにダウンロードされます。
ilab model download --repository docker://registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5

# ilab経由でモデルを提供
ilab model serve --model-path ~/.cache/instructlab/models/llama-4-scout-17b-16e-instruct-quantized-w4a16
  
# モデルとチャット
ilab model chat --model ~/.cache/instructlab/models/llama-4-scout-17b-16e-instruct-quantized-w4a16

詳細はRed Hat Enterprise Linux AIドキュメントを参照してください。

# ServingRuntimeを使用したvllmサーバーのセットアップ
# 保存先: vllm-servingruntime.yaml
apiVersion: serving.kserve.io/v1alpha1
kind: ServingRuntime
metadata:
 name: vllm-cuda-runtime # オプション変更: 一意の名前を設定
 annotations:
   openshift.io/display-name: vLLM NVIDIA GPU ServingRuntime for KServe
   opendatahub.io/recommended-accelerators: '["nvidia.com/gpu"]'
 labels:
   opendatahub.io/dashboard: 'true'
spec:
 annotations:
   prometheus.io/port: '8080'
   prometheus.io/path: '/metrics'
 multiModel: false
 supportedModelFormats:
   - autoSelect: true
     name: vLLM
 containers:
   - name: kserve-container
     image: quay.io/modh/vllm:rhoai-2.20-cuda # 必要に応じて変更。AMDの場合は: quay.io/modh/vllm:rhoai-2.20-rocm
     command:
       - python
       - -m
       - vllm.entrypoints.openai.api_server
     args:
       - "--port=8080"
       - "--model=/mnt/models"
       - "--served-model-name={{.Name}}"
     env:
       - name: HF_HOME
         value: /tmp/hf_home
     ports:
       - containerPort: 8080
         protocol: TCP

# vllmサーバーにモデルをアタッチ。これはNVIDIAテンプレートです
# 保存先: inferenceservice.yaml
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  annotations:
    openshift.io/display-name: Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 # オプション変更
    serving.kserve.io/deploymentMode: RawDeployment
  name: Llama-4-Scout-17B-16E-Instruct-quantized.w4a16          # モデル名を指定。この値はペイロードでモデルを呼び出す際に使用されます
  labels:
    opendatahub.io/dashboard: 'true'
spec:
  predictor:
    maxReplicas: 1
    minReplicas: 1
    model:
      modelFormat:
        name: vLLM
      name: ''
      resources:
        limits:
          cpu: '2'			# これはモデル固有です
          memory: 8Gi		# これはモデル固有です
          nvidia.com/gpu: '1'	# これはアクセラレータ固有です
        requests:			# このブロックにも同様のコメントが適用されます
          cpu: '1'
          memory: 4Gi
          nvidia.com/gpu: '1'
      runtime: vllm-cuda-runtime	# 上記のServingRuntime名と一致する必要があります
      storageUri: oci://registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5
    tolerations:
    - effect: NoSchedule
      key: nvidia.com/gpu
      operator: Exists

# 最初にモデルをデプロイするプロジェクトにいることを確認してください
# oc project <プロジェクト名>

# モデルを実行するために両方のリソースを適用

# ServingRuntimeを適用
oc apply -f vllm-servingruntime.yaml

# InferenceServiceを適用
oc apply -f qwen-inferenceservice.yaml

# 以下の<inference-service-name>と<cluster-ingress-domain>を置き換えてください:
# - 不明な場合は`oc get inferenceservice`を実行してURLを確認してください。

# curlを使用してサーバーを呼び出します:
curl https://<inference-service-name>-predictor-default.<domain>/v1/chat/completions
        -H "Content-Type: application/json" \
        -d '{
    "model": "Llama-4-Scout-17B-16E-Instruct-quantized.w4a16",
    "stream": true,
    "stream_options": {
        "include_usage": true
    },
    "max_tokens": 1,
    "messages": [
        {
            "role": "user",
            "content": "蜂の羽は小さいのに、どうやって飛べるのですか？"
        }
    ]
}'

詳細はRed Hat Openshift AIドキュメントを参照してください。