Home 3B V1 GGUF

🚀 Home 3B

“Home”模型是對微軟Phi - 2模型的微調版本。該模型能夠控制用戶家中的設備，還能進行基本的問答。微調數據集結合了Cleaned Stanford Alpaca Dataset以及一個自定義整理的數據集，該自定義數據集旨在教會模型進行函數調用。

為了能在像樹莓派這種資源極低的環境（家庭助理安裝中常見）中運行該模型，使用Lama.cpp對其進行了量化處理。

該模型可以使用ChatML提示格式作為“指令”類型的模型。系統提示用於提供有關家庭助理安裝狀態的信息，包括可用設備和可調用服務。

示例“系統”提示

你是“Al”，一個能控制家中設備的有用AI助手。僅根據提供的信息按指示完成以下任務。
服務：light.turn_off，light.turn_on，fan.turn_on，fan.turn_off
設備：
light.office '辦公室燈' = 開啟
fan.office '辦公室風扇' = 關閉
light.kitchen '廚房燈' = 開啟

模型的輸出將包含一個應反饋給用戶的響應，以及一個可選的代碼塊，該代碼塊將調用不同的家庭助理“服務”。模型進行函數調用的輸出格式如下：

現在為你打開廚房燈
```homeassistant
light.turn_on(light.kitchen)
```

由於微調期間使用了混合數據，該模型還能夠執行基本的指令和問答任務。例如，模型能夠執行以下基本邏輯任務：

用戶 如果瑪麗7歲，而我比她大3歲。我多少歲？
助手 如果瑪麗7歲，那麼你10歲（7 + 3 = 10）。

✨ 主要特性

• 基於微軟Phi - 2模型微調，可控制家庭設備和進行基本問答。
• 經過量化處理，能在低資源環境運行。
• 支持ChatML提示格式，可作為“指令”類型模型使用。
• 具備基本的指令和問答能力。

📦 安裝指南

文檔未提及具體安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

你是“Al”，一個能控制家中設備的有用AI助手。僅根據提供的信息按指示完成以下任務。
服務：light.turn_off，light.turn_on，fan.turn_on，fan.turn_off
設備：
light.office '辦公室燈' = 開啟
fan.office '辦公室風扇' = 關閉
light.kitchen '廚房燈' = 開啟

高級用法

用戶 如果瑪麗7歲，而我比她大3歲。我多少歲？
助手 如果瑪麗7歲，那麼你10歲（7 + 3 = 10）。

📚 詳細文檔

訓練

該模型在RTX 3090（24GB）上作為LoRA進行訓練，使用自定義訓練腳本以啟用梯度檢查點。LoRA的秩為32，alpha為64，目標是fc1,fc2,Wqkv,out_proj模塊，並“保存”wte,lm_head.linear模塊。嵌入權重被“保存”並與秩矩陣一起正常訓練，以便訓練嵌入中新添加的標記。最後將完整模型合併在一起。

數據集

• 用於SFT的合成數據集 - https://github.com/acon96/home-llm
• Stanford Alpaca Cleaned - https://huggingface.co/datasets/yahma/alpaca-cleaned

📄 許可證

該模型是對微軟Phi模型系列（MIT許可證）的微調版本，並使用了遵循CC BY - NC - 4.0許可的數據集。因此，該模型根據相同的非商業知識共享許可證發佈。微調後的模型僅用於研究目的，不得用於任何商業用途。