Llama 2 7b Chat Hf Function Calling V3

🚀 函數調用微調版Llama 2 Chat

本模型針對函數調用進行了微調。

• 函數元數據格式與OpenAI所使用的格式相同。
• 該模型適用於商業用途，並遵循Llama 2社區許可證。
• GGUF版本位於gguf分支中。

查看其他微調的函數調用模型，請點擊此處。

🚀 快速開始

✨ 快速服務器設置

• Runpod一鍵TGI模板：點擊這裡。
• Runpod一鍵vLLM模板：點擊這裡。

Runpod聯盟鏈接（有助於支持Trelis頻道）。

💻 推理腳本

以下是示例提示格式。

完整的推理腳本可點擊此處購買：

• 使用tokenizer.apply_chat_format輕鬆格式化提示（從OpenAI格式的函數和消息列表開始）。
• 自動捕獲、處理和鏈接函數調用。

💻 使用示例

基礎用法

B_FUNC, E_FUNC = "You have access to the following functions. Use them if required:\n\n", "\n\n"
B_INST, E_INST = "[INST] ", " [/INST]" #Llama style
prompt = f"{B_INST}{B_FUNC}{functionList.strip()}{E_FUNC}{user_prompt.strip()}{E_INST}\n\n"

高級用法

使用tokenizer.apply_chat_template

為了更輕鬆地應用提示，您可以按以下方式設置：

設置messages：

[
    {
        "role": "function_metadata",
        "content": "FUNCTION_METADATA"
    },
    {
        "role": "user",
        "content": "What is the current weather in London?"
    },
    {
        "role": "function_call",
        "content": "{\n    \"name\": \"get_current_weather\",\n    \"arguments\": {\n        \"city\": \"London\"\n    }\n}"
    },
    {
        "role": "function_response",
        "content": "{\n    \"temperature\": \"15 C\",\n    \"condition\": \"Cloudy\"\n}"
    },
    {
        "role": "assistant",
        "content": "The current weather in London is Cloudy with a temperature of 15 Celsius"
    }
]

將FUNCTION_METADATA設置為：

[
    {
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "This function gets the current weather in a given city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {
                        "type": "string",
                        "description": "The city, e.g., San Francisco"
                    },
                    "format": {
                        "type": "string",
                        "enum": ["celsius", "fahrenheit"],
                        "description": "The temperature unit to use."
                    }
                },
                "required": ["city"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "get_clothes",
            "description": "This function provides a suggestion of clothes to wear based on the current weather",
            "parameters": {
                "type": "object",
                "properties": {
                    "temperature": {
                        "type": "string",
                        "description": "The temperature, e.g., 15 C or 59 F"
                    },
                    "condition": {
                        "type": "string",
                        "description": "The weather condition, e.g., 'Cloudy', 'Sunny', 'Rainy'"
                    }
                },
                "required": ["temperature", "condition"]
            }
        }
    }    
]

然後應用聊天模板以獲取格式化的提示：

tokenizer = AutoTokenizer.from_pretrained('Trelis/Llama-2-7b-chat-hf-function-calling-v3', trust_remote_code=True)

prompt = tokenizer.apply_chat_template(prompt, tokenize=False)

如果您使用的是受限模型，則需要先運行：

pip install huggingface_hub
huggingface-cli login

手動提示

[INST] You have access to the following functions. Use them if required:

[
    {
        "type": "function",
        "function": {
            "name": "get_big_stocks",
            "description": "Get the names of the largest N stocks by market cap",
            "parameters": {
                "type": "object",
                "properties": {
                    "number": {
                        "type": "integer",
                        "description": "The number of largest stocks to get the names of, e.g. 25"
                    },
                    "region": {
                        "type": "string",
                        "description": "The region to consider, can be \"US\" or \"World\"."
                    }
                },
                "required": [
                    "number"
                ]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "get_stock_price",
            "description": "Get the stock price of an array of stocks",
            "parameters": {
                "type": "object",
                "properties": {
                    "names": {
                        "type": "array",
                        "items": {
                            "type": "string"
                        },
                        "description": "An array of stocks"
                    }
                },
                "required": [
                    "names"
                ]
            }
        }
    }
]

[INST] Get the names of the five largest stocks in the US by market cap [/INST]

{
    "name": "get_big_stocks",
    "arguments": {
        "number": 5,
        "region": "US"
    }
}</s>

📚 詳細文檔

數據集

查看數據集詳情。

Llama 2模型詳情

Llama 2是一系列預訓練和微調的生成式文本模型，參數規模從70億到700億不等。這是7B微調模型的倉庫，針對對話用例進行了優化，並轉換為Hugging Face Transformers格式。其他模型的鏈接可在底部索引中找到。

模型信息

訓練數據

• 概述：Llama 2在來自公開來源的2萬億個標記數據上進行了預訓練。微調數據包括公開可用的指令數據集，以及超過100萬個新的人工標註示例。預訓練和微調數據集均不包含Meta用戶數據。
• 數據時效性：預訓練數據截止到2022年9月，但部分微調數據更新至2023年7月。

評估結果

預期用途

• 預期用例：Llama 2旨在用於英語的商業和研究用途。微調模型適用於類似助手的聊天，而預訓練模型可用於各種自然語言生成任務。
• 超出範圍的用途：以任何違反適用法律法規（包括貿易合規法律）的方式使用；使用英語以外的語言；以Llama 2的可接受使用政策和許可協議禁止的任何其他方式使用。

硬件和軟件

• 訓練因素：我們使用自定義訓練庫、Meta的研究超級集群和生產集群進行預訓練。微調、標註和評估也在第三方雲計算上進行。
• 碳足跡：預訓練在A100 - 80GB類型的硬件上累計使用了330萬個GPU小時的計算資源（TDP為350 - 400W）。估計總排放量為539 tCO2eq，其中100%由Meta的可持續發展計劃抵消。

倫理考量和侷限性

Llama 2是一項新技術，使用時存在風險。到目前為止進行的測試均使用英語，且無法涵蓋所有場景。因此，與所有大語言模型一樣，Llama 2的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶提示產生不準確、有偏見或其他令人反感的響應。因此，在部署Llama 2的任何應用程序之前，開發人員應針對其特定應用對模型進行安全測試和調整。

請參閱負責任使用指南。

問題反饋

請通過以下方式報告模型的軟件“漏洞”或其他問題：

• 報告模型問題：github.com/facebookresearch/llama
• 報告模型生成的不良內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info

Llama模型索引