Llama 3.1 8B Tldr

🚀 Llama-3.1-8B-tldr

Llama-3.1-8B-tldr 是基于 meta-llama/Llama-3.1-8B 在 trl-lib/tldr 数据集上微调得到的模型，可高效总结 Reddit 帖子，在测试集上取得了 0.366 的 BERTScore。

🚀 快速开始

本模型可使用 vLLM 进行高效部署，示例如下。

运行以下命令启动 vLLM 服务器：

vllm serve RedHatAI/Llama-3.1-8B-tldr

服务器启动后，你可以使用 OpenAI API 查询模型：

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

post="""
SUBREDDIT: r/AI

TITLE: Training sparse LLMs

POST: Now you can use the llm-compressor integration to axolotl to train sparse LLMs!

It's super easy to use. See the example in https://huggingface.co/RedHatAI/Sparse-Llama-3.1-8B-tldr-2of4.

And there's more. You can run 2:4 sparse models on vLLM and get significant speedupts on Hopper GPUs!
"""

prompt = f"Give a TL;DR of the following Reddit post.\n<|user|>{post}\nTL;DR:\n<|assistant|>\n"

completion = client.completions.create(
  model="RedHatAI/Llama-3.1-8B-tldr",
  prompt=prompt,
  max_tokens=256,
)
print("Completion result:", completion)

✨ 主要特性

• 高效总结：能够对 Reddit 帖子进行高效总结，在测试集上取得了 0.366 的 BERTScore。
• 易于部署：可以使用 vLLM 进行高效部署。

📦 安装指南

本模型可使用 vLLM 进行部署，运行以下命令启动 vLLM 服务器：

vllm serve RedHatAI/Llama-3.1-8B-tldr

💻 使用示例

基础用法

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

post="""
SUBREDDIT: r/AI

TITLE: Training sparse LLMs

POST: Now you can use the llm-compressor integration to axolotl to train sparse LLMs!

It's super easy to use. See the example in https://huggingface.co/RedHatAI/Sparse-Llama-3.1-8B-tldr-2of4.

And there's more. You can run 2:4 sparse models on vLLM and get significant speedupts on Hopper GPUs!
"""

prompt = f"Give a TL;DR of the following Reddit post.\n<|user|>{post}\nTL;DR:\n<|assistant|>\n"

completion = client.completions.create(
  model="RedHatAI/Llama-3.1-8B-tldr",
  prompt=prompt,
  max_tokens=256,
)
print("Completion result:", completion)

📚 详细文档

模型概述

• 模型架构：LlamaForCausalLM
  • 输入：文本
  • 输出：文本
• 发布日期：2025 年 5 月 29 日
• 版本：1.0
• 预期用例：该模型经过微调，可按照 Reddit 帖子的风格总结文本。
• 适用范围外：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用。禁止以《可接受使用政策》和《Llama 3.1 社区许可证》禁止的任何其他方式使用。
• 模型开发者：Red Hat (Neural Magic)

本模型是 meta-llama/Llama-3.1-8B 在 trl-lib/tldr 数据集上的微调版本。该模型在 trl-lib/tldr 测试集上的 BERTScore 为 0.366。

训练

base_model: meta-llama/Llama-3.1-8B

load_in_8bit: false
load_in_4bit: false
strict: false

datasets:
  - path: trl-lib/tldr
    type:
      system_prompt: "Give a TL;DR of the following Reddit post."
      field_system: system
      field_instruction: prompt
      field_output: completion
      format: "<|user|>\n{instruction}\n<|assistant|>\n"
      no_input_format: "<|user|>\n{instruction}\n<|assistant|>\n"
    split: train

sequence_len: 4096
sample_packing: true
pad_to_sequence_len: true
eval_sample_packing: true

torch.compile: true
gradient_accumulation_steps: 1
micro_batch_size: 4
num_epochs: 3
optimizer: adamw_bnb_8bit
lr_scheduler: cosine
learning_rate: 1e-5
max_grad_norm: 1

gradient_checkpointing: true
gradient_checkpointing_kwargs:
  use_reentrant: false

train_on_inputs: false
bf16: auto
fp16:
tf32: false

early_stopping_patience:
resume_from_checkpoint:
logging_steps: 1
flash_attention: true

warmup_ratio: 0.05
evals_per_epoch: 4
val_set_size: 0.05
save_strategy: "best"
save_total_limit: 1
metric_for_best_model: "loss"

debug:
deepspeed:
weight_decay: 0.0
special_tokens:
  pad_token: "<|end_of_text|>"

seed: 0

plugins:
  - axolotl.integrations.liger.LigerPlugin

liger_rope: true
liger_rms_norm: true
liger_glu_activation: true
liger_layer_norm: true
liger_fused_linear_cross_entropy: true

评估

该模型使用 lm-evaluation-harness（tldr 分支）的 Neural Magic 分支，在 trl-lib/tldr 数据集的测试分割上进行了评估。可以使用以下命令重现这些结果：

lm_eval --model vllm --model_args "pretrained=RedHatAI/Llama-3.1-8B-tldr,dtype=auto,add_bos_token=True" --batch-size auto --tasks tldr

推理性能

我们使用 trl-lib/tldr 数据集训练集的前 1000 个样本评估了该模型的推理性能。基准测试使用 vLLM 版本 0.9.0.1 和 GuideLLM 版本 0.2.1 进行。

下图展示了不同请求速率下的每个请求的平均端到端延迟。结果显示了本模型以及两个变体的情况：

• 密集量化：Llama-3.1-8B-tldr-FP8-dynamic
• 稀疏量化：Sparse-Llama-3.1-8B-tldr-2of4-FP8-dynamic

from datasets import load_dataset
ds = load_dataset("trl-lib/tldr", split="train").take(1000)
ds.to_json("tldr_1000.json")

vllm serve RedHatAI/Llama-3.1-8B-tldr

GUIDELLM__OPENAI__MAX_OUTPUT_TOKENS=128 guidellm benchmark --target "http://localhost:8000" --rate-type sweep --data tldr_1000.json

🔧 技术细节

本模型基于 LlamaForCausalLM 架构，在 trl-lib/tldr 数据集上进行微调。训练过程中使用了 axolotl 框架，具体配置和超参数可参考上述训练部分的详细文档。

📄 许可证

本模型使用 llama3.1 许可证。