Llama 3.1 8B Instruct GGUF

🚀 Llama 3.1模型

Llama 3.1是Meta推出的多語言大語言模型集合，包含8B、70B和405B等不同規模的預訓練和指令微調生成模型。該模型在多語言對話場景中表現出色，在常見行業基準測試中超越了許多開源和閉源聊天模型。

🚀 快速開始

• 查看我們關於Llama 3.1微調支持的博客：unsloth.ai/blog/llama4
• 在文檔中查看我們其餘的微調筆記本。
• 將微調後的模型導出為GGUF、Ollama、llama.cpp、vLLM或HF格式。

查看我們的模型集合，獲取包括4位和16位格式的Llama 3.1版本。

Unsloth Dynamic v2.0實現了卓越的準確性，性能優於其他領先的量化方法。

✨ 主要特性

• 多語言支持：支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。
• 高性能：在常見行業基準測試中表現出色，超越了許多開源和閉源聊天模型。
• 多種使用方式：支持使用transformers庫和原始llama代碼庫進行推理。
• 工具使用支持：支持多種工具使用格式，可通過聊天模板實現工具調用。

📦 安裝指南

使用transformers

從transformers >= 4.43.0版本開始，你可以使用Transformers的pipeline抽象或藉助Auto類和generate()函數進行對話推理。

確保通過pip install --upgrade transformers更新你的transformers庫。

import transformers
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]
outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

使用原始llama代碼庫

請遵循倉庫中的說明。

要下載原始檢查點，請使用以下huggingface-cli命令：

huggingface-cli download meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir Meta-Llama-3.1-8B-Instruct

💻 使用示例

基礎用法

import transformers
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]
outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高級用法 - 工具使用

# 首先，定義一個工具
def get_current_temperature(location: str) -> float:
    """
    獲取指定位置的當前溫度。
    
    參數:
        location: 要獲取溫度的位置，格式為 "城市, 國家"
    返回:
        指定位置的當前溫度，以浮點數表示。
    """
    return 22.  # 實際函數應獲取真實的溫度！
# 接下來，創建一個聊天並應用聊天模板
messages = [
  {"role": "system", "content": "You are a bot that responds to weather queries."},
  {"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]
inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)

如果模型生成了工具調用，你可以將其添加到聊天中：

tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})

然後調用工具並將結果添加到聊天中：

messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})

之後，你可以再次調用generate()讓模型在聊天中使用工具結果。

📚 詳細文檔

模型信息

訓練數據

• 概述：Llama 3.1在約15萬億個公開可用數據源的令牌上進行了預訓練。微調數據包括公開可用的指令數據集以及超過2500萬個合成生成的示例。
• 數據新鮮度：預訓練數據截止到2023年12月。

基準測試分數

基礎預訓練模型

指令微調模型

多語言基準測試

🔧 技術細節

硬件和軟件

• 訓練因素：我們使用了自定義訓練庫、Meta的自定義GPU集群和生產基礎設施進行預訓練。微調、標註和評估也在生產基礎設施上進行。
• 訓練計算量：在H100 - 80GB（TDP為700W）類型的硬件上累計使用了3930萬GPU小時的計算資源。訓練時間是每個模型訓練所需的總GPU時間，功耗是每個GPU設備的峰值功率容量，並根據電源使用效率進行了調整。
• 訓練溫室氣體排放：訓練的估計總基於位置的溫室氣體排放量為11390噸CO2eq。自2020年以來，Meta在其全球運營中保持了淨零溫室氣體排放，並使用可再生能源滿足了100%的電力需求，因此訓練的總基於市場的溫室氣體排放量為0噸CO2eq。

確定訓練能源使用和溫室氣體排放的方法可在此處找到。由於Meta正在公開發布這些模型，其他人不會產生訓練能源使用和溫室氣體排放。

📄 許可證

Llama 3.1使用自定義商業許可證，即Llama 3.1社區許可證，可在此處查看。