Llama 3.1 8B Tldr

🚀 Llama-3.1-8B-tldr

このモデルは、Reddit投稿のスタイルでテキストを要約するようにファインチューニングされたモデルです。meta-llama/Llama-3.1-8B を trl-lib/tldr データセットでファインチューニングしたもので、trl-lib/tldrのテストセットで0.366のBERTScoreを達成しています。

🚀 クイックスタート

このモデルは、vLLM を使用して効率的にデプロイできます。以下の手順でモデルを使用することができます。

サーバーの起動

次のコマンドを実行して、vLLMサーバーを起動します。

vllm serve RedHatAI/Llama-3.1-8B-tldr

モデルのクエリ

サーバーが起動したら、OpenAI APIを使用してモデルにクエリを投げることができます。

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

post="""
SUBREDDIT: r/AI

TITLE: Training sparse LLMs

POST: Now you can use the llm-compressor integration to axolotl to train sparse LLMs!

It's super easy to use. See the example in https://huggingface.co/RedHatAI/Sparse-Llama-3.1-8B-tldr-2of4.

And there's more. You can run 2:4 sparse models on vLLM and get significant speedupts on Hopper GPUs!
"""

prompt = f"Give a TL;DR of the following Reddit post.\n<|user|>{post}\nTL;DR:\n<|assistant|>\n"

completion = client.completions.create(
  model="RedHatAI/Llama-3.1-8B-tldr",
  prompt=prompt,
  max_tokens=256,
)
print("Completion result:", completion)

✨ 主な機能

• モデルアーキテクチャ: LlamaForCausalLM
  • 入力: テキスト
  • 出力: テキスト
• リリース日: 2025年5月29日
• バージョン: 1.0
• 想定使用ケース: Reddit投稿のスタイルでテキストを要約するためにファインチューニングされています。
• 適用外: 適用される法律や規制（貿易コンプライアンス法を含む）に違反する方法での使用。許容使用ポリシーおよびLlama 3.1コミュニティライセンスによって禁止されている他の方法での使用。
• モデル開発者: Red Hat (Neural Magic)

📦 インストール

このモデルを使用するには、vLLMをインストールする必要があります。vLLMのインストール方法については、公式ドキュメント を参照してください。

💻 使用例

基本的な使用法

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

post="""
SUBREDDIT: r/AI

TITLE: Training sparse LLMs

POST: Now you can use the llm-compressor integration to axolotl to train sparse LLMs!

It's super easy to use. See the example in https://huggingface.co/RedHatAI/Sparse-Llama-3.1-8B-tldr-2of4.

And there's more. You can run 2:4 sparse models on vLLM and get significant speedupts on Hopper GPUs!
"""

prompt = f"Give a TL;DR of the following Reddit post.\n<|user|>{post}\nTL;DR:\n<|assistant|>\n"

completion = client.completions.create(
  model="RedHatAI/Llama-3.1-8B-tldr",
  prompt=prompt,
  max_tokens=256,
)
print("Completion result:", completion)

📚 ドキュメント

トレーニング

base_model: meta-llama/Llama-3.1-8B

load_in_8bit: false
load_in_4bit: false
strict: false

datasets:
  - path: trl-lib/tldr
    type:
      system_prompt: "Give a TL;DR of the following Reddit post."
      field_system: system
      field_instruction: prompt
      field_output: completion
      format: "<|user|>\n{instruction}\n<|assistant|>\n"
      no_input_format: "<|user|>\n{instruction}\n<|assistant|>\n"
    split: train

sequence_len: 4096
sample_packing: true
pad_to_sequence_len: true
eval_sample_packing: true

torch.compile: true
gradient_accumulation_steps: 1
micro_batch_size: 4
num_epochs: 3
optimizer: adamw_bnb_8bit
lr_scheduler: cosine
learning_rate: 1e-5
max_grad_norm: 1

gradient_checkpointing: true
gradient_checkpointing_kwargs:
  use_reentrant: false

train_on_inputs: false
bf16: auto
fp16:
tf32: false

early_stopping_patience:
resume_from_checkpoint:
logging_steps: 1
flash_attention: true

warmup_ratio: 0.05
evals_per_epoch: 4
val_set_size: 0.05
save_strategy: "best"
save_total_limit: 1
metric_for_best_model: "loss"

debug:
deepspeed:
weight_decay: 0.0
special_tokens:
  pad_token: "<|end_of_text|>"

seed: 0

plugins:
  - axolotl.integrations.liger.LigerPlugin

liger_rope: true
liger_rms_norm: true
liger_glu_activation: true
liger_layer_norm: true
liger_fused_linear_cross_entropy: true

評価

このモデルは、trl-lib/tldr のテストスプリットで、lm-evaluation-harness (tldrブランチ) のNeural Magicフォークを使用して評価されました。以下のコマンドを使用することで、これらの結果を再現することができます。

lm_eval --model vllm --model_args "pretrained=RedHatAI/Llama-3.1-8B-tldr,dtype=auto,add_bos_token=True" --batch-size auto --tasks tldr

推論パフォーマンス

このモデルの推論パフォーマンスは、trl-lib/tldr データセットのトレーニングセットの最初の1,000サンプルを使用して評価されました。ベンチマークは、vLLM バージョン 0.9.0.1 および GuideLLM バージョン 0.2.1 で実行されました。

下の図は、さまざまなリクエストレートにおける リクエストあたりの平均エンドツーエンドレイテンシー を示しています。このモデルと2つのバリアントの結果が表示されています。

• Dense-quantized: Llama-3.1-8B-tldr-FP8-dynamic
• Sparse-quantized: Sparse-Llama-3.1-8B-tldr-2of4-FP8-dynamic

from datasets import load_dataset
ds = load_dataset("trl-lib/tldr", split="train").take(1000)
ds.to_json("tldr_1000.json")

vllm serve RedHatAI/Llama-3.1-8B-tldr

GUIDELLM__OPENAI__MAX_OUTPUT_TOKENS=128 guidellm benchmark --target "http://localhost:8000" --rate-type sweep --data tldr_1000.json

📄 ライセンス

このモデルは、llama3.1ライセンスの下で提供されています。

その他の情報