Phi 3.5 Mini Instruct

🚀 Phi-3.5-mini-instruct項目

Phi-3.5-mini-instruct是一款輕量級、先進的開源模型，基於Phi-3使用的數據集構建，專注於高質量、富含推理的數據。它屬於Phi-3模型家族，支持128K令牌上下文長度，經過嚴格的增強過程，確保精確遵循指令和強大的安全措施。

🚀 快速開始

本倉庫是對 https://huggingface.co/microsoft/Phi-3.5-mini-instruct 的復刻，用於修復 'DynamicCache' object has no attribute 'get_max_length' 問題。

相關鏈接

• Phi-4：[多模態指令 | ONNX]；[迷你指令 | ONNX]
• Phi-3.5：[迷你指令 | ONNX]；[MoE指令]；[視覺指令]

✨ 主要特性

模型概述

Phi-3.5-mini是基於Phi-3使用的數據集構建的輕量級、最先進的開放模型，數據集包括合成數據和經過篩選的公開網站數據，重點關注高質量、富含推理的數據。該模型屬於Phi-3模型家族，支持128K令牌上下文長度。模型經過了嚴格的增強過程，包括監督微調、近端策略優化和直接偏好優化，以確保精確遵循指令和強大的安全措施。

多語言能力

在多語言MMLU、MEGA和多語言MMLU-pro數據集上，Phi-3.5 Mini展現出了出色的多語言能力。即使只有3.8B的有效參數，該模型在多語言任務上也能與其他擁有更多有效參數的模型競爭。

長上下文處理能力

Phi-3.5-mini支持128K的上下文長度，能夠處理包括長文檔/會議摘要、長文檔問答、長文檔信息檢索等在內的多個長上下文任務。與僅支持8K上下文長度的Gemma-2系列相比，Phi-3.5-mini明顯更優，並且能與其他更大的開放權重模型（如Llama-3.1-8B-instruct、Mistral-7B-instruct-v0.3和Mistral-Nemo-12B-instruct-2407）競爭。

📦 安裝指南

環境要求

Phi-3系列已集成在 transformers 的 4.43.0 版本中。可以使用以下命令驗證當前 transformers 版本：

pip list | grep transformers

所需包示例

flash_attn==2.5.8
torch==2.3.1
accelerate==0.31.0
transformers==4.43.0

Phi-3.5-mini-instruct也可在 Azure AI Studio 中使用。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct", 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")

messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."},
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"},
]

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}

output = pipe(messages, **generation_args)
print(output[0]['generated_text'])

注意：如果要使用閃存注意力機制，請在調用 AutoModelForCausalLM.from_pretrained() 時添加參數 attn_implementation="flash_attention_2"。

輸入格式

鑑於訓練數據的性質，Phi-3.5-mini-instruct模型最適合使用以下聊天格式的提示：

<|system|>
You are a helpful assistant.<|end|>
<|user|>
How to explain Internet for a medieval knight?<|end|>
<|assistant|>

📚 詳細文檔

預期用途

主要用例

該模型旨在用於多種語言的商業和研究用途。適用於通用人工智能系統和應用，特別是在以下場景中：

1. 內存/計算資源受限的環境。
2. 對延遲有要求的場景。
3. 需要強大推理能力的場景（特別是代碼、數學和邏輯方面）。

使用案例考慮因素

我們的模型並非專門為所有下游用途設計或評估。開發者在選擇用例時應考慮語言模型的常見侷限性，並在特定下游用例中使用之前，評估和緩解準確性、安全性和公平性方面的問題，特別是在高風險場景中。開發者應瞭解並遵守與其用例相關的適用法律或法規（包括隱私、貿易合規法等）。

發佈說明

這是基於用戶寶貴反饋對2024年6月發佈的指令微調版Phi-3 Mini的更新。該模型使用了額外的訓練後數據，在多語言、多輪對話質量和推理能力方面取得了顯著提升。我們相信大多數用例將受益於此次發佈，但鼓勵用戶在其特定的人工智能應用中進行測試。我們感謝社區對Phi-3模型家族的熱情采用，並繼續歡迎所有反饋。

多語言能力

多語言基準測試結果

部分支持語言的多語言MMLU分數

長上下文處理能力

長上下文基準測試結果

RULER長上下文理解基準測試結果

RepoQA長上下文代碼理解基準測試結果

分詞器

Phi-3.5-mini-Instruct支持最多 32064 個令牌的詞彙量。分詞器文件 已經提供了可用於下游微調的佔位符令牌，但也可以擴展到模型的詞彙量。

🔧 技術細節

模型信息

訓練數據集

我們的訓練數據包括多種來源，總計3.4萬億令牌，是以下數據的組合：

1. 經過嚴格質量篩選的公開文檔、選定的高質量教育數據和代碼。
2. 為教授數學、編碼、常識推理、世界常識（科學、日常活動、心理理論等）而新創建的合成的“教科書式”數據。
3. 涵蓋各種主題的高質量聊天格式監督數據，以反映人類在遵循指令、真實性、誠實性和樂於助人等不同方面的偏好。

我們專注於可能提高模型推理能力的數據質量，並篩選公開文檔以包含適當水平的知識。例如，某一天英超聯賽的比賽結果可能是前沿模型的良好訓練數據，但我們需要去除此類信息，以便為小尺寸模型留出更多的推理能力。有關數據的更多詳細信息，請參閱 Phi-3技術報告。

微調

多GPU監督微調（SFT）與TRL和Accelerate模塊的基本示例可在 這裡 找到。

📄 許可證

本模型採用MIT許可證，詳情請見 許可證鏈接。

🔒 負責任的AI考慮因素

與其他語言模型一樣，Phi系列模型可能會表現出不公平、不可靠或冒犯性的行為。需要注意的一些限制行為包括：

• 服務質量：Phi模型主要在英語文本和一些額外的多語言文本上進行訓練。非英語語言的性能會較差，並且不同非英語語言之間的性能也會存在差異。訓練數據中代表性較少的英語變體的性能可能會比標準美式英語差。
• 多語言性能和安全差距：我們認為讓語言模型在不同語言中更廣泛可用很重要，但Phi 3模型在多語言發佈中仍然存在常見的挑戰。與任何大語言模型的部署一樣，開發者應更好地針對其語言和文化背景測試性能或安全差距，並通過額外的微調和適當的保障措施對模型進行定製。
• 傷害的表現和刻板印象的延續：這些模型可能會過度或不足地代表某些人群，抹去某些群體的代表性，或強化貶低性或負面的刻板印象。儘管進行了安全訓練後處理，但由於不同群體的代表性水平不同、文化背景不同或訓練數據中反映現實世界模式和社會偏見的負面刻板印象示例的普遍性，這些侷限性可能仍然存在。
• 不適當或冒犯性內容：這些模型可能會產生其他類型的不適當或冒犯性內容，在沒有針對具體情況進行額外緩解措施的情況下，可能不適合在敏感環境中部署。
• 信息可靠性：語言模型可能會生成無意義的內容或編造聽起來合理但不準確或過時的內容。
• 代碼範圍有限：Phi-3的大部分訓練數據基於Python，並使用常見的包（如“typing, math, random, collections, datetime, itertools”）。如果模型生成使用其他包的Python腳本或其他語言的腳本，我們強烈建議用戶手動驗證所有API的使用。
• 長對話問題：與其他模型一樣，Phi-3模型在某些情況下可能會在非常長的聊天會話（英語和非英語）中生成重複、無用或不一致的回覆。鼓勵開發者採取適當的緩解措施，例如限制對話輪數以解決可能的對話漂移問題。

開發者應應用負責任的AI最佳實踐，包括映射、測量和緩解與其特定用例以及文化、語言背景相關的風險。Phi-3系列模型是通用模型。當開發者計劃將這些模型用於特定用例時，鼓勵他們針對其用例對模型進行微調，並在具有特定語言保障措施的更廣泛AI系統中使用這些模型。需要考慮的重要領域包括：

• 資源分配：模型可能不適用於可能對法律地位、資源分配或生活機會產生重大影響的場景（例如住房、就業、信貸等），除非進行進一步評估和採用額外的去偏技術。
• 高風險場景：開發者應評估在高風險場景中使用模型的適用性，在這些場景中，不公平、不可靠或冒犯性的輸出可能會造成極大的代價或導致傷害。這包括在準確性和可靠性至關重要的敏感或專業領域提供建議（例如法律或健康建議）。應根據部署上下文在應用層面實施額外的保障措施。
• 錯誤信息：模型可能會產生不準確的信息。開發者應遵循透明度最佳實踐，並告知最終用戶他們正在與人工智能系統進行交互。在應用層面，開發者可以構建反饋機制和管道，以將回復與特定用例的上下文信息相結合，這種技術稱為檢索增強生成（RAG）。
• 有害內容生成：開發者應根據其上下文評估輸出，並使用適合其用例的可用安全分類器或自定義解決方案。
• 濫用：可能存在其他形式的濫用，如欺詐、垃圾郵件或惡意軟件生產，開發者應確保其應用不違反適用的法律法規。