Platypus2 70B Instruct

🚀 Platypus2-70B-instruct

Platypus2-70B-instruct 是將 garage-bAInd/Platypus2-70B 和 upstage/Llama-2-70b-instruct-v2 進行合併得到的模型。它基於 LLaMA 2 架構，在特定數據集上進行訓練，能為用戶提供更優質的語言交互體驗。

✨ 主要特性

• 模型類型：Platypus2-70B-instruct 是基於 LLaMA 2 變壓器架構的自迴歸語言模型。
• 語言支持：支持英文。
• 許可證：採用非商業性知識共享許可協議 (CC BY-NC-4.0)。

📦 安裝指南

安裝 LM Evaluation Harness

# 克隆倉庫
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# 進入倉庫目錄
cd lm-evaluation-harness
# 檢出正確的提交版本
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# 安裝
pip install -e .

💻 使用示例

提示模板

### Instruction:

<prompt> (無需尖括號)

### Response:

📚 詳細文檔

訓練數據集

garage-bAInd/Platypus2-70B 使用基於 STEM 和邏輯的數據集 garage-bAInd/Open-Platypus 進行訓練。

更多信息請參考我們的 論文 和 項目網頁。

訓練過程

garage-bAInd/Platypus2-70B 在 8 塊 A100 80GB GPU 上使用 LoRA 進行指令微調。有關訓練細節和推理說明，請參閱 Platypus 的 GitHub 倉庫。

復現評估結果

ARC

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks arc_challenge --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/arc_challenge_25shot.json --device cuda --num_fewshot 25

HellaSwag

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks hellaswag --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/hellaswag_10shot.json --device cuda --num_fewshot 10

MMLU

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks hendrycksTest-* --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/mmlu_5shot.json --device cuda --num_fewshot 5

TruthfulQA

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks truthfulqa_mc --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/truthfulqa_0shot.json --device cuda

模型信息表格

注意事項

⚠️ 重要提示

Llama 2 及其微調變體是一項新技術，使用時存在風險。到目前為止的測試均使用英文進行，且無法涵蓋所有場景。因此，與所有大語言模型一樣，Llama 2 及其任何微調變體的潛在輸出無法提前預測，模型在某些情況下可能會對用戶提示產生不準確、有偏見或其他令人反感的響應。因此，在部署 Llama 2 變體的任何應用程序之前，開發人員應針對其特定的模型應用進行安全測試和調整。請參閱位於 https://ai.meta.com/llama/responsible-use-guide/ 的《負責任使用指南》。

💡 使用建議

在使用 Platypus2-70B-instruct 模型時，請確保遵循許可證的相關規定，並且在部署應用前進行充分的安全測試和調整。

🔧 技術細節

訓練過程

garage-bAInd/Platypus2-70B 在 8 塊 A100 80GB GPU 上使用 LoRA 進行指令微調。通過這種方式，模型能夠更好地適應特定的任務和數據集。

評估指標

📄 許可證

本模型採用非商業性知識共享許可協議 (CC BY-NC-4.0)。

📖 引用信息

@article{platypus2023,
    title={Platypus: Quick, Cheap, and Powerful Refinement of LLMs}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv preprint arxiv:2308.07317},
    year={2023}
}

@misc{touvron2023llama,
    title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, 
    author={Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov},
    year={2023},
    eprint={2307.09288},
    archivePrefix={arXiv},
}

@inproceedings{
    hu2022lora,
    title={Lo{RA}: Low-Rank Adaptation of Large Language Models},
    author={Edward J Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=nZeVKeeFYf9}
}

開放大語言模型排行榜評估結果

詳細結果可查看 此處。