Llama 3.1 8B Instruct GGUF

🚀 Llama 3.1模型

Llama 3.1是Meta推出的多语言大语言模型集合，包含8B、70B和405B等不同规模的预训练和指令微调生成模型。该模型在多语言对话场景中表现出色，在常见行业基准测试中超越了许多开源和闭源聊天模型。

🚀 快速开始

• 查看我们关于Llama 3.1微调支持的博客：unsloth.ai/blog/llama4
• 在文档中查看我们其余的微调笔记本。
• 将微调后的模型导出为GGUF、Ollama、llama.cpp、vLLM或HF格式。

查看我们的模型集合，获取包括4位和16位格式的Llama 3.1版本。

Unsloth Dynamic v2.0实现了卓越的准确性，性能优于其他领先的量化方法。

✨ 主要特性

• 多语言支持：支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
• 高性能：在常见行业基准测试中表现出色，超越了许多开源和闭源聊天模型。
• 多种使用方式：支持使用transformers库和原始llama代码库进行推理。
• 工具使用支持：支持多种工具使用格式，可通过聊天模板实现工具调用。

📦 安装指南

使用transformers

从transformers >= 4.43.0版本开始，你可以使用Transformers的pipeline抽象或借助Auto类和generate()函数进行对话推理。

确保通过pip install --upgrade transformers更新你的transformers库。

import transformers
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]
outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

使用原始llama代码库

请遵循仓库中的说明。

要下载原始检查点，请使用以下huggingface-cli命令：

huggingface-cli download meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir Meta-Llama-3.1-8B-Instruct

💻 使用示例

基础用法

import transformers
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]
outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高级用法 - 工具使用

# 首先，定义一个工具
def get_current_temperature(location: str) -> float:
    """
    获取指定位置的当前温度。
    
    参数:
        location: 要获取温度的位置，格式为 "城市, 国家"
    返回:
        指定位置的当前温度，以浮点数表示。
    """
    return 22.  # 实际函数应获取真实的温度！
# 接下来，创建一个聊天并应用聊天模板
messages = [
  {"role": "system", "content": "You are a bot that responds to weather queries."},
  {"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]
inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)

如果模型生成了工具调用，你可以将其添加到聊天中：

tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})

然后调用工具并将结果添加到聊天中：

messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})

之后，你可以再次调用generate()让模型在聊天中使用工具结果。

📚 详细文档

模型信息

训练数据

• 概述：Llama 3.1在约15万亿个公开可用数据源的令牌上进行了预训练。微调数据包括公开可用的指令数据集以及超过2500万个合成生成的示例。
• 数据新鲜度：预训练数据截止到2023年12月。

基准测试分数

基础预训练模型

指令微调模型

多语言基准测试

🔧 技术细节

硬件和软件

• 训练因素：我们使用了自定义训练库、Meta的自定义GPU集群和生产基础设施进行预训练。微调、标注和评估也在生产基础设施上进行。
• 训练计算量：在H100 - 80GB（TDP为700W）类型的硬件上累计使用了3930万GPU小时的计算资源。训练时间是每个模型训练所需的总GPU时间，功耗是每个GPU设备的峰值功率容量，并根据电源使用效率进行了调整。
• 训练温室气体排放：训练的估计总基于位置的温室气体排放量为11390吨CO2eq。自2020年以来，Meta在其全球运营中保持了净零温室气体排放，并使用可再生能源满足了100%的电力需求，因此训练的总基于市场的温室气体排放量为0吨CO2eq。

确定训练能源使用和温室气体排放的方法可在此处找到。由于Meta正在公开发布这些模型，其他人不会产生训练能源使用和温室气体排放。

📄 许可证

Llama 3.1使用自定义商业许可证，即Llama 3.1社区许可证，可在此处查看。