Guanaco 7b Leh V2

🚀 瓜納科 - Leh - V2：基於LLaMA 7B的多語言指令跟隨語言模型

本模型是一個基於LLaMA 7B的多語言指令跟隨語言模型，它通過 [guanaco - lora](https://github.com/KohakuBlueleaf/guanaco - lora) 進行訓練，訓練時對lora、embed_tokens和lm_head進行了優化。該模型在處理中文和日語任務時，相較於原始的LLaMA模型表現更優，並且支持基於指令的提示方式，使用起來更加便捷。

🚀 快速開始

本模型使用 [alpaca - cleaned](https://huggingface.co/datasets/yahma/alpaca - cleaned) 和 guanaco 數據集進行訓練。由於訓練了嵌入層和頭部，該模型在中文和日語上的表現優於原始的LLaMA，並且支持基於指令的提示，使用起來更加方便。

由於該模型是使用瓜納科數據集訓練的，你也可以將其用作聊天機器人，使用以下格式：

### 指令:
用戶: <消息歷史>
助手: <消息歷史>

### 輸入:
系統: <下一條消息的系統響應，可選>
用戶: <下一條消息>

### 響應:

⚠️ 重要提示

為了減少token消耗，我移除了原始提示的第一行。當你使用此模型時，請考慮移除它。

✨ 主要特性

與之前模型的差異

• 訓練精度：模型以bf16精度進行訓練，而非8位精度。
• 上下文長度：上下文截斷長度增加到1024。
• 數據集規模：使用了更大的數據集（最新的瓜納科數據集 + 清理後的羊駝數據集 = 540k條目）。
• 批量大小：使用了更大的批量大小（從64增加到128）。

由於訓練數據中包含更多基於聊天的數據，該模型更適合用於聊天機器人。

嘗試此模型

你可以通過以下方式嘗試此模型：

• 使用 Colab 進行嘗試。
• 使用 [guanaco - lora](https://github.com/KohakuBlueleaf/guanaco - lora) 中的generate.py腳本，所有示例均由guanaco - lora生成。

如果你想使用來自guanaco - 7b - leh - v2 - adapter/ 的lora模型，請記得關閉load_in_8bit，或者手動將其合併到7B模型中！

推薦生成參數

🔧 技術細節

訓練設置

• 硬件：使用2張3090顯卡進行模型並行訓練。
• 批量大小：批量大小為8，梯度累積次數為16，總批量大小為128。
• 上下文截斷長度：上下文截斷長度為1024。
• 訓練範圍：僅在輸出部分進行訓練（使用損失掩碼）。
• 啟用分組：啟用長度分組。
• 數據集條目數：538k條目，訓練2個epoch（約8400步）。
• 學習率：學習率為2e - 4。

為何使用lora + embed + head

當一個大語言模型在某些語言上表現不佳，而你想對其進行微調時，訓練嵌入層和頭部是很有必要的。但問題是：“為什麼不直接進行原生微調呢？”

如果你搜索過一些羊駝模型或訓練相關內容，可能會注意到很多模型存在一個問題：“記憶”。在每個epoch開始時，損失會下降，就像某種“過擬合”。在我看來，這是因為LLaMA的參數數量太大，以至於它只是記住了所有的訓練數據。

但如果我對注意力部分使用lora（忽略MLP部分），參數數量不足以“記住訓練數據”，因此不太可能記住所有內容。

💻 使用示例

基礎用法

### 指令:
用戶: 無
助手: 無

### 輸入:
系統: 無
用戶: 你好

### 響應:

📄 許可證

本模型使用GPL - 3.0許可證。

🔍 更多示例

翻譯示例

我使用帶有指令的瓜納科模型將一篇中文文章翻譯成日語、德語和英語，並使用GPT - 4對翻譯結果進行評分，得到以下結果：

聊天示例

（如你所見，儘管瓜納科可以流暢回覆，但內容有時會比較混亂。因此，你可能需要在系統部分添加一些內容。）