Alpaca 7b Wdiff

🚀 Stanford Alpaca-7B

本倉庫託管了 Stanford Alpaca-7B 的權重差異文件，將其應用於Meta的LLaMA權重時，可用於重構原始模型權重。

🚀 快速開始

若要恢復原始的Alpaca-7B權重，請按照以下步驟操作：

1. 將Meta發佈的權重轉換為Hugging Face格式。請參考此指南：
    https://huggingface.co/docs/transformers/main/model_doc/llama
2. 確保已將發佈的權重差異文件克隆到本地機器。權重差異文件位於：
    https://huggingface.co/tatsu-lab/alpaca-7b/tree/main
3. 使用正確的路徑運行此函數。例如：
    python weight_diff.py recover --path_raw <步驟1目錄的路徑> --path_diff <步驟2目錄的路徑> --path_tuned <存儲恢復權重的路徑>

步驟3完成後，您將得到一個包含恢復權重的目錄，您可以按如下方式加載模型：

💻 使用示例

基礎用法

import transformers
alpaca_model = transformers.AutoModelForCausalLM.from_pretrained("<存儲恢復權重的路徑>")
alpaca_tokenizer = transformers.AutoTokenizer.from_pretrained("<存儲恢復權重的路徑>")

📄 許可證

本項目採用CC BY-NC 4.0許可證。