Camel Platypus2 70B

🚀 Camel-Platypus2-70B

Camel-Platypus2-70Bは、garage-bAInd/Platypus2-70B と augtoma/qCammel-70-x をマージしたモデルです。このモデルは、特定のデータセットを用いて訓練され、自然言語処理タスクでの性能向上を目指しています。

🚀 クイックスタート

Camel-Platypus2-70Bを始めるには、以下の手順に従ってください。まず、必要なライブラリをインストールし、その後モデルを使用してタスクを実行することができます。

✨ 主な機能

• 高性能な言語処理：LLaMA 2のアーキテクチャをベースにした自己回帰型言語モデルで、様々な自然言語処理タスクで高い性能を発揮します。
• 特定データセットでの訓練：STEMやロジックに基づくデータセットを用いて訓練されているため、関連するタスクでの精度が高いです。

📦 インストール

LM Evaluation Harnessをインストールするには、以下のコマンドを実行してください。

# リポジトリをクローンする
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# リポジトリのディレクトリに移動する
cd lm-evaluation-harness
# 正しいコミットをチェックアウトする
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# インストールする
pip install -e .

💻 使用例

基本的な使用法

以下は、ARCタスクを評価するためのコード例です。

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks arc_challenge --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/arc_challenge_25shot.json --device cuda --num_fewshot 25

高度な使用法

HellaSwag、MMLU、TruthfulQAなどの他のタスクを評価するためのコード例です。

# HellaSwagタスク
python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks hellaswag --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/hellaswag_10shot.json --device cuda --num_fewshot 10

# MMLUタスク
python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks hendrycksTest-* --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/mmlu_5shot.json --device cuda --num_fewshot 5

# TruthfulQAタスク
python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Camel-Platypus2-70B --tasks truthfulqa_mc --batch_size 1 --no_cache --write_out --output_path results/Camel-Platypus2-70B/truthfulqa_0shot.json --device cuda

📚 ドキュメント

モデル詳細

プロンプトテンプレート

### 指示:

<prompt> (<> を除く)

### 応答:

訓練データセット

garage-bAInd/Platypus2-70B は、STEMやロジックに基づくデータセット garage-bAInd/Open-Platypus を用いて訓練されました。

詳細な情報については、論文 と プロジェクトのウェブページ を参照してください。

訓練手順

garage-bAInd/Platypus2-70B は、8台のA100 80GB GPUを使用してLoRAを用いて命令微調整されました。訓練の詳細や推論の手順については、Platypus のGitHubリポジトリを参照してください。

評価結果の再現

各タスクは、単一のA100 80GB GPUで評価されました。

制限事項とバイアス

Llama 2とその微調整バリアントは、新しい技術であり、使用に伴うリスクがあります。これまでのテストは英語で行われており、すべてのシナリオを網羅していません。このため、すべての大規模言語モデルと同様に、Llama 2とその微調整バリアントの潜在的な出力は事前に予測することができず、モデルは場合によっては不正確、バイアスがある、またはその他の不快な応答を生成する可能性があります。したがって、Llama 2バリアントのアプリケーションをデプロイする前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストとチューニングを行う必要があります。

詳細については、責任ある使用ガイド を参照してください。

引用

@article{platypus2023,
    title={Platypus: Quick, Cheap, and Powerful Refinement of LLMs}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv preprint arxiv:2308.07317},
    year={2023}
}

@misc{touvron2023llama,
    title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, 
    author={Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov},
    year={2023},
    eprint={2307.09288},
    archivePrefix={arXiv},
}

@inproceedings{
    hu2022lora,
    title={Lo{RA}: Low-Rank Adaptation of Large Language Models},
    author={Edward J Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=nZeVKeeFYf9}
}

📄 ライセンス

このモデルは、非商用のCreative Commonsライセンス (CC BY-NC-4.0) の下で提供されています。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。