Llama 3 8B Instruct 262k

🚀 Llama-3 8B Gradient Instruct 262k

Llama-3 8B Gradient Instruct 262k 模型由 Gradient 开发，在 Llama-3 8B 基础上，将上下文长度从 8k 扩展到超 160K。通过调整 RoPE theta，该模型用少量训练数据（< 2 亿个令牌）就能处理长上下文。此外，模型经过进一步微调，增强了类助手的聊天能力。

🚀 快速开始

加入我们的自定义代理和长上下文（262k - 1M+）等待列表：点击加入

Gradient 可整合你的数据，部署能驱动你业务关键运营的自主助手。若想了解更多或合作开发自定义模型，请发邮件至 contact@gradient.ai。

加入我们的 Discord

✨ 主要特性

• 长上下文处理能力：将 Llama-3 8B 的上下文长度从 8k 扩展到超 160K，能处理更长的文本输入。
• 优化的 RoPE theta：通过 NTK 感知插值初始化 RoPE theta 的最佳调度，再结合新的数据驱动优化技术。
• 渐进式训练：类似于 Large World Model 进行渐进式训练，逐步增加上下文长度。
• 增强的聊天能力：经过进一步微调，模型的类助手聊天能力得到加强。

📦 安装指南

使用 huggingface-cli 下载原始检查点

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct

对于 Hugging Face 支持

推荐使用 transformers 或 TGI，类似的命令也适用。

💻 使用示例

使用 transformers

Transformers 管道

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

使用 llama3

请遵循 仓库 中的说明。

📚 详细文档

模型详情

Meta 开发并发布了 Meta Llama 3 系列大语言模型（LLMs），包括 8B 和 70B 大小的预训练和指令微调生成文本模型。Llama 3 指令微调模型针对对话用例进行了优化，在常见行业基准测试中表现优于许多可用的开源聊天模型。

预期用途

• 预期用例：Llama 3 旨在用于英语商业和研究用途。指令微调模型适用于类助手聊天，而预训练模型可用于各种自然语言生成任务。
• 超出范围：以任何违反适用法律法规（包括贸易合规法律）的方式使用。以《可接受使用政策》和《Llama 3 社区许可证》禁止的任何其他方式使用。使用英语以外的语言。

训练数据

• 概述：Llama 3 在来自公开可用来源的超过 15 万亿个令牌的数据上进行了预训练。微调数据包括公开可用的指令数据集，以及超过 1000 万个经过人工标注的示例。预训练和微调数据集均不包括 Meta 用户数据。
• 数据新鲜度：预训练数据的截止日期分别为 7B 模型的 2023 年 3 月和 70B 模型的 2023 年 12 月。

基准测试

在本节中，我们报告了 Llama 3 模型在标准自动基准测试中的结果。所有评估均使用我们的内部评估库。有关方法的详细信息，请参阅 此处。

基础预训练模型

指令微调模型

责任与安全

我们认为开放的 AI 方法可以带来更好、更安全的产品，更快的创新和更大的整体市场。我们致力于负责任的 AI 开发，并采取了一系列措施来限制滥用和危害，支持开源社区。

Llama 3-Instruct

• 安全：对于我们的指令微调模型，我们进行了广泛的红队测试、对抗性评估，并实施了安全缓解技术以降低残留风险。
• 拒绝：我们非常重视模型对良性提示的拒绝情况。我们改进了微调过程，确保 Llama 3 比 Llama 2 更不可能错误地拒绝回答提示。

负责任的发布

在发布决策之前，我们遵循了严格的流程，采取了额外的措施来防止滥用和关键风险。

社区

生成式 AI 安全需要专业知识和工具，我们相信开放社区的力量可以加速其发展。我们是开放联盟的积极成员，鼓励社区采用 MLCommons 概念验证评估等分类法，促进安全和内容评估的协作和透明度。

🔧 技术细节

方法

• 以 meta-llama/Meta-Llama-3-8B-Instruct 为基础。
• 使用 NTK 感知插值初始化 RoPE theta 的最佳调度，然后采用新的数据驱动 RoPE theta 优化技术。
• 类似于 Large World Model 进行渐进式训练，逐步增加上下文长度。

基础设施

我们基于 EasyContext Blockwise RingAttention 库 [3] 进行构建，以便在 Crusoe Energy 高性能 L40S 集群上可扩展且高效地训练长达 262144 个令牌的上下文。

量化版本和 GGUF

GGUF 可在 Crusoe 的 Hugging Face 账户上获取：crusoeai/Llama-3-8B-Instruct-262k-GGUF

Exl2 量化版本

Exl2 可在 Bullerwins 的 Hugging Face 账户上获取：

• 8.0bpw exl2
• 6.0bpw exl2
• 5.0bpw exl2

渐进式训练细节

评估细节

EVAL_MAX_CONTEXT_LENGTH=320200
EVAL_MIN_CONTEXT_LENGTH=100
EVAL_CONTEXT_INTERVAL=16000
EVAL_DEPTH_INTERVAL=0.2
EVAL_NUM_SAMPLES=2
EVAL_RND_NUMBER_DIGITS=8

HAYSTACK:
    EVAL_GENERATOR_TOKENS=925000

硬件和软件

• 训练因素：我们使用自定义训练库、Meta 的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算上进行。
• 碳足迹：预训练在 H100 - 80GB 类型的硬件上累计使用了 770 万个 GPU 小时的计算资源。估计总排放量为 2290 tCO2eq，其中 100% 由 Meta 的可持续发展计划抵消。

📄 许可证

本模型的许可证为 llama3，自定义商业许可证可在 https://llama.meta.com/llama3/license 获取。

引用

@misc{gradientlongcontextllama3,
  title={Llama 3 Gradient: A series of long context models},
  author={Leonid Pekelis and Michael Feil and Forrest Moret and Mark Huang and Tiffany Peng},
  year={2024},
  url = {https://gradient.ai/blog/scaling-rotational-embeddings-for-long-context-language-models}
}

贡献者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos