Platypus2 70B Instruct

🚀 Platypus2-70B-instruct

Platypus2-70B-instruct 是将 garage-bAInd/Platypus2-70B 和 upstage/Llama-2-70b-instruct-v2 进行合并得到的模型。它基于 LLaMA 2 架构，在特定数据集上进行训练，能为用户提供更优质的语言交互体验。

✨ 主要特性

• 模型类型：Platypus2-70B-instruct 是基于 LLaMA 2 变压器架构的自回归语言模型。
• 语言支持：支持英文。
• 许可证：采用非商业性知识共享许可协议 (CC BY-NC-4.0)。

📦 安装指南

安装 LM Evaluation Harness

# 克隆仓库
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# 进入仓库目录
cd lm-evaluation-harness
# 检出正确的提交版本
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# 安装
pip install -e .

💻 使用示例

提示模板

### Instruction:

<prompt> (无需尖括号)

### Response:

📚 详细文档

训练数据集

garage-bAInd/Platypus2-70B 使用基于 STEM 和逻辑的数据集 garage-bAInd/Open-Platypus 进行训练。

更多信息请参考我们的 论文 和 项目网页。

训练过程

garage-bAInd/Platypus2-70B 在 8 块 A100 80GB GPU 上使用 LoRA 进行指令微调。有关训练细节和推理说明，请参阅 Platypus 的 GitHub 仓库。

复现评估结果

ARC

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks arc_challenge --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/arc_challenge_25shot.json --device cuda --num_fewshot 25

HellaSwag

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks hellaswag --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/hellaswag_10shot.json --device cuda --num_fewshot 10

MMLU

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks hendrycksTest-* --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/mmlu_5shot.json --device cuda --num_fewshot 5

TruthfulQA

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus2-70B-instruct --tasks truthfulqa_mc --batch_size 1 --no_cache --write_out --output_path results/Platypus2-70B-instruct/truthfulqa_0shot.json --device cuda

模型信息表格

注意事项

⚠️ 重要提示

Llama 2 及其微调变体是一项新技术，使用时存在风险。到目前为止的测试均使用英文进行，且无法涵盖所有场景。因此，与所有大语言模型一样，Llama 2 及其任何微调变体的潜在输出无法提前预测，模型在某些情况下可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署 Llama 2 变体的任何应用程序之前，开发人员应针对其特定的模型应用进行安全测试和调整。请参阅位于 https://ai.meta.com/llama/responsible-use-guide/ 的《负责任使用指南》。

💡 使用建议

在使用 Platypus2-70B-instruct 模型时，请确保遵循许可证的相关规定，并且在部署应用前进行充分的安全测试和调整。

🔧 技术细节

训练过程

garage-bAInd/Platypus2-70B 在 8 块 A100 80GB GPU 上使用 LoRA 进行指令微调。通过这种方式，模型能够更好地适应特定的任务和数据集。

评估指标

📄 许可证

本模型采用非商业性知识共享许可协议 (CC BY-NC-4.0)。

📖 引用信息

@article{platypus2023,
    title={Platypus: Quick, Cheap, and Powerful Refinement of LLMs}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv preprint arxiv:2308.07317},
    year={2023}
}

@misc{touvron2023llama,
    title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, 
    author={Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov},
    year={2023},
    eprint={2307.09288},
    archivePrefix={arXiv},
}

@inproceedings{
    hu2022lora,
    title={Lo{RA}: Low-Rank Adaptation of Large Language Models},
    author={Edward J Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=nZeVKeeFYf9}
}

开放大语言模型排行榜评估结果

详细结果可查看 此处。