Llama 30b Supercot

🚀 大語言模型合併項目

本項目將 huggyllama/llama-30b 與 kaiokendev/SuperCOT-LoRA 進行合併。SuperCOT 經過訓練，可與 LangChain 提示配合使用。

你可以在自定義的大語言模型筆記本中本地加載該模型，此筆記本使用 Oobabooga 模塊來加載模型：Local-LLM-Langchain。之後，你可以從其他筆記本中添加單元格進行測試：langchain-tutorials。

🚀 快速開始

本項目是兩個大語言模型的合併成果，SuperCOT 支持與 LangChain 提示協同工作。你可以按以下步驟進行操作：

1. 在自定義的大語言模型筆記本中本地加載模型，該筆記本使用 Oobabooga 模塊加載模型，鏈接為：Local-LLM-Langchain。
2. 從其他筆記本添加單元格進行測試，鏈接為：langchain-tutorials。

📚 詳細文檔

兼容性

此 LoRA 與任何 7B、13B 或 30B 的 4 位量化 LLaMa 模型兼容，包括經過 ggml 量化轉換的二進制文件。

提示方式

你應該以提示 Alpaca 或 Alpacino 的相同方式來提示此 LoRA：

以下是描述任務的指令，以及提供更多上下文的輸入。請編寫一個響應以適當完成請求。

### 指令:
<指令內容>

### 輸入:
<任何額外的上下文。如果不需要，請刪除此項>

### 響應:
<確保在此處留一個空行以獲得最佳結果>

請記住，在參數規模較小時，提示的結構變得更加重要。同樣的提示，表述方式不同可能會得出截然不同的答案。你可以考慮使用以下建議後綴來提高輸出質量：

• "逐步思考這個問題"
• "讓我們從邏輯上思考這個問題"
• "解釋你的推理過程"
• "提供細節來支持你的答案"
• "將你的答案與其他選項進行比較和對比"

即將推出

• 針對 13B 和 7B 模型的推文修復 - 較小規模的模型似乎對訓練數據響應末尾的話題標籤極為敏感，尤其是在較長的截斷長度下。