Llama 3.1 Storm 8B GGUF

🚀 Llama-3.1-Storm-8B-GGUF

Llama-3.1-Storm-8B-GGUF 是 Llama-3.1-Storm-8B 的 GGUF 量化版本，可與 llama.cpp 配合使用。BF16 模型可在 此處 獲取。

作者：Ashvini Kumar Jindal、Pawan Kumar Rajpoot、Ankur Parikh、Akshita Sukhlecha

🤗 Hugging Face 公告博客：https://huggingface.co/blog/akjindal53244/llama31-storm8b

🐏 Ollama 運行指令：ollama run ajindal/llama3.1-storm:8b

🚀 快速開始

安裝依賴

pip install llama-cpp-python

使用示例

from huggingface_hub import hf_hub_download
from llama_cpp import Llama

## 下載 GGUF 模型
model_name = "akjindal53244/Llama-3.1-Storm-8B-GGUF"
model_file = "Llama-3.1-Storm-8B.Q8_0.gguf" # 這是本示例中使用的特定模型文件，為 4 位量化版本。若有需要，模型倉庫中還有其他量化級別可供選擇
model_path = hf_hub_download(model_name, filename=model_file)

## 從下載的文件實例化模型
llm = Llama(
    model_path=model_path,
    n_ctx=16000,    # 使用的上下文長度
    n_threads=32,   # 使用的 CPU 線程數
    n_gpu_layers=0  # 卸載到 GPU 的模型層數
)

generation_kwargs = {
    "max_tokens":200,
    "stop":["<|eot_id|>"],
    "echo":False, # 輸出中是否回顯提示
    "top_k":1 # 將此值設置為大於 1 以進行採樣解碼
}

prompt = "What is 2+2?"
res = llm(prompt, **generation_kwargs)
print(res["choices"][0]["text"])

使用 Ollama 進行函數調用的示例

import ollama
tools = [{
      'type': 'function',
      'function': {
        'name': 'get_current_weather',
        'description': 'Get the current weather for a city',
        'parameters': {
          'type': 'object',
          'properties': {
            'city': {
              'type': 'string',
              'description': 'The name of the city',
            },
          },
          'required': ['city'],
        },
      },
    },
    {
      'type': 'function',
      'function': {
        'name': 'get_places_to_vist',
        'description': 'Get places to visit in a city',
        'parameters': {
          'type': 'object',
          'properties': {
            'city': {
              'type': 'string',
              'description': 'The name of the city',
            },
          },
          'required': ['city'],
        },
      },
    },
  ]
response = ollama.chat(
    model='ajindal/llama3.1-storm:8b',
    messages=[
        {'role': 'system', 'content': 'Do not answer to nay vulgar questions.'},
        {'role': 'user', 'content': 'What is the weather in Toronto and San Francisco?'}
        ],
    tools=tools
)
print(response['message'])  # 預期響應: {'role': 'assistant', 'content': "<tool_call>{'tool_name': 'get_current_weather', 'tool_arguments': {'city': 'Toronto'}}</tool_call>"}

✨ 主要特性

模型介紹

Llama-3.1-Storm-8B 基於 Llama-3.1-8B-Instruct 構建，旨在增強 80 億參數模型類中的對話和函數調用能力。

如上圖左子圖所示，Llama-3.1-Storm-8B 模型在多個基準測試中改進了 Meta-Llama-3.1-8B-Instruct 的性能，包括指令遵循（IFEval）、知識驅動問答基準測試（GPQA、MMLU-Pro）、推理（ARC-C、MuSR、BBH）、減少幻覺（TruthfulQA）和函數調用（BFCL）。對於使用有限計算資源的 AI 開發者和愛好者來說，這種改進尤為顯著。

我們還將我們的模型與最近發佈的基於 Llama-3.1-8B-Instruct 模型構建的 Hermes-3-Llama-3.1-8B 進行了基準測試。如上圖右子圖所示，Llama-3.1-Storm-8B 在 9 個基準測試中的 7 個上優於 Hermes-3-Llama-3.1-8B，Hermes-3-Llama-3.1-8B 在 MuSR 基準測試中超過 Llama-3.1-Storm-8B，並且兩個模型在 BBH 基準測試中表現相當。

模型優勢

Llama-3.1-Storm-8B 是一個強大的通用模型，適用於各種應用。我們邀請 AI 社區探索 Llama-3.1-Storm-8B，並期待看到它在各種項目和應用中的應用。

注意：所有改進都是相對於 Meta-Llama-3.1-8B-Instruct 的絕對增益。

模型版本

1. BF16：Llama-3.1-Storm-8B
2. FP8：Llama-3.1-Storm-8B-FP8-Dynamic
3. GGUF：Llama-3.1-Storm-8B-GGUF
4. Ollama：ollama run ajindal/llama3.1-storm:8b

🔧 技術細節

模型構建步驟

我們的方法包括三個關鍵步驟：

1. 自我篩選：我們應用了兩種自我篩選方法，從約 280 萬個開源示例中選擇了約 100 萬個高質量示例。我們的篩選標準側重於教育價值和難度級別，使用相同的 SLM 進行註釋，而不是使用更大的模型（例如 70B、405B）。
2. 有針對性的微調：我們在 Llama-3.1-8B-Instruct 模型上進行了基於 Spectrum 的有針對性的微調。Spectrum 方法通過根據層模塊的信噪比（SNR）選擇性地針對層模塊，並凍結其餘模塊來加速訓練。在我們的工作中，50% 的層被凍結。
3. 模型合併：我們使用 SLERP 方法將我們微調後的模型與 Llama-Spark 模型合併。合併方法產生一個混合模型，其特徵從兩個父模型平滑插值，確保所得模型捕捉到兩個父模型的精髓。Llama-3.1-Storm-8B 在 10 個不同的基準測試中改進了 Llama-3.1-8B-Instruct 的性能。這些基準測試涵蓋了指令遵循、知識驅動問答、推理、真實答案生成和函數調用等領域。

對齊說明

雖然 Llama-3.1-Storm-8B 沒有經過明確的模型對齊過程，但它可能仍然保留了一些從 Meta-Llama-3.1-8B-Instruct 模型繼承的對齊屬性。

📚 詳細文檔

引用我們的工作

@misc {ashvini_kumar_jindal_2024,
    author       = { {Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh, Akshita Sukhlecha} },
    title        = { Llama-3.1-Storm-8B },
    year         = 2024,
    url          = { https://huggingface.co/akjindal53244/Llama-3.1-Storm-8B },
    doi          = { 10.57967/hf/2902 },
    publisher    = { Hugging Face }
}

支持我們的工作

我們的團隊有 3 名成員，分佈在 3 個不同的時區，我們贏得了 2023 年 NeurIPS LLM 效率挑戰賽 和其他 4 個金融和阿拉伯語 LLM 領域的競賽。我們還發布了 SOTA 數學推理模型。

Llama-3.1-Storm-8B 是我們到目前為止對開源社區最有價值的貢獻。我們致力於開發高效的通用大語言模型。我們正在尋求計算資源和創新的合作者來推動這一計劃的發展。

📄 許可證

本項目遵循 llama3.1 許可證。

語言支持

本模型支持以下語言：

• 英語
• 德語
• 法語
• 意大利語
• 葡萄牙語
• 印地語
• 西班牙語
• 泰語

模型類型

文本生成

基礎模型

akjindal53244/Llama-3.1-Storm-8B