Camel Platypus2 70B

🚀 Camel-Platypus2-70B

Camel-Platypus2-70B是garage-bAInd/Platypus2-70B和augtoma/qCammel-70-x的融合模型。它结合了两个模型的优势，为用户提供更强大的语言处理能力。

🚀 快速开始

本部分将引导你快速了解Camel-Platypus2-70B模型的基本信息和使用方法。

✨ 主要特性

• 模型融合：融合了garage-bAInd/Platypus2-70B和augtoma/qCammel-70-x的优势。
• 基于LLaMA 2架构：采用先进的Transformer架构，具有强大的语言理解和生成能力。
• 特定数据集训练：使用基于STEM和逻辑的数据集garage-bAInd/Open-Platypus进行训练。

📦 安装指南

安装LM Evaluation Harness

# 克隆仓库
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# 进入仓库目录
cd lm-evaluation-harness
# 检出正确的提交
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# 安装
pip install -e .

💻 使用示例

基础用法

### Instruction:
<prompt> (without the <>)

### Response:

高级用法

在不同任务上进行评估的示例代码：

ARC任务

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks arc_challenge --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/arc_challenge_25shot.json --device cuda --num_fewshot 25

HellaSwag任务

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks hellaswag --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/hellaswag_10shot.json --device cuda --num_fewshot 10

MMLU任务

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks hendrycksTest-* --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/mmlu_5shot.json --device cuda --num_fewshot 5

TruthfulQA任务

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks truthfulqa_mc --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/truthfulqa_0shot.json --device cuda

📚 详细文档

模型详情

训练过程

garage-bAInd/Platypus2-70B在8个A100 80GB的GPU上使用LoRA进行指令微调。有关训练细节和推理说明，请参阅Platypus GitHub仓库。

评估结果复现

每个任务都在单个A100 80GB的GPU上进行评估。详细的评估结果可以在这里找到。

局限性和偏差

Llama 2及其微调变体是一项新技术，使用时存在风险。到目前为止进行的测试均使用英语，且未涵盖也不可能涵盖所有场景。因此，与所有大语言模型一样，Llama 2及其任何微调变体的潜在输出无法提前预测，模型在某些情况下可能会对用户提示产生不准确、有偏差或其他令人反感的响应。因此，在部署Llama 2变体的任何应用程序之前，开发人员应针对其特定的模型应用进行安全测试和调整。

请参阅负责任使用指南。

引用信息

@article{platypus2023,
    title={Platypus: Quick, Cheap, and Powerful Refinement of LLMs}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv preprint arxiv:2308.07317},
    year={2023}
}

@misc{touvron2023llama,
    title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, 
    author={Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov},
    year={2023},
    eprint={2307.09288},
    archivePrefix={arXiv},
}

@inproceedings{
    hu2022lora,
    title={Lo{RA}: Low-Rank Adaptation of Large Language Models},
    author={Edward J Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=nZeVKeeFYf9}
}

📄 许可证

本项目采用非商业知识共享许可证 (CC BY-NC-4.0)。