Camel Platypus2 70B

🚀 Camel-Platypus2-70B

Camel-Platypus2-70B是garage-bAInd/Platypus2-70B和augtoma/qCammel-70-x的融合模型。它結合了兩個模型的優勢，為用戶提供更強大的語言處理能力。

🚀 快速開始

本部分將引導你快速瞭解Camel-Platypus2-70B模型的基本信息和使用方法。

✨ 主要特性

• 模型融合：融合了garage-bAInd/Platypus2-70B和augtoma/qCammel-70-x的優勢。
• 基於LLaMA 2架構：採用先進的Transformer架構，具有強大的語言理解和生成能力。
• 特定數據集訓練：使用基於STEM和邏輯的數據集garage-bAInd/Open-Platypus進行訓練。

📦 安裝指南

安裝LM Evaluation Harness

# 克隆倉庫
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# 進入倉庫目錄
cd lm-evaluation-harness
# 檢出正確的提交
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# 安裝
pip install -e .

💻 使用示例

基礎用法

### Instruction:
<prompt> (without the <>)

### Response:

高級用法

在不同任務上進行評估的示例代碼：

ARC任務

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks arc_challenge --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/arc_challenge_25shot.json --device cuda --num_fewshot 25

HellaSwag任務

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks hellaswag --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/hellaswag_10shot.json --device cuda --num_fewshot 10

MMLU任務

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks hendrycksTest-* --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/mmlu_5shot.json --device cuda --num_fewshot 5

TruthfulQA任務

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks truthfulqa_mc --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/truthfulqa_0shot.json --device cuda

📚 詳細文檔

模型詳情

訓練過程

garage-bAInd/Platypus2-70B在8個A100 80GB的GPU上使用LoRA進行指令微調。有關訓練細節和推理說明，請參閱Platypus GitHub倉庫。

評估結果復現

每個任務都在單個A100 80GB的GPU上進行評估。詳細的評估結果可以在這裡找到。

侷限性和偏差

Llama 2及其微調變體是一項新技術，使用時存在風險。到目前為止進行的測試均使用英語，且未涵蓋也不可能涵蓋所有場景。因此，與所有大語言模型一樣，Llama 2及其任何微調變體的潛在輸出無法提前預測，模型在某些情況下可能會對用戶提示產生不準確、有偏差或其他令人反感的響應。因此，在部署Llama 2變體的任何應用程序之前，開發人員應針對其特定的模型應用進行安全測試和調整。

請參閱負責任使用指南。

引用信息

@article{platypus2023,
    title={Platypus: Quick, Cheap, and Powerful Refinement of LLMs}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv preprint arxiv:2308.07317},
    year={2023}
}

@misc{touvron2023llama,
    title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, 
    author={Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov},
    year={2023},
    eprint={2307.09288},
    archivePrefix={arXiv},
}

@inproceedings{
    hu2022lora,
    title={Lo{RA}: Low-Rank Adaptation of Large Language Models},
    author={Edward J Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=nZeVKeeFYf9}
}

📄 許可證

本項目採用非商業知識共享許可證 (CC BY-NC-4.0)。