license: apple-amlr license_name: apple-sample-code-license license_link: LICENSE

OpenELM

Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

OpenELM（Open Efficient Language Models）を紹介します。OpenELMは、トランスフォーマーモデルの各層内でパラメータを効率的に割り当てるための階層的なスケーリング戦略を採用しており、精度の向上を実現しています。OpenELMモデルはCoreNetライブラリを使用して事前学習されました。270M、450M、1.1B、3Bパラメータの事前学習済みモデルと指示チューニング済みモデルを公開しています。オープンな研究を促進するため、データ準備、トレーニング、ファインチューニング、評価手順を含む完全なフレームワークと、複数の事前学習済みチェックポイントおよびトレーニングログを公開しています。

事前学習データセットには、RefinedWeb、重複排除されたPILE、RedPajamaのサブセット、Dolma v1.6のサブセットが含まれており、合計約1.8兆トークンです。使用前にこれらのデータセットのライセンス契約と利用条件を確認してください。

使用方法

HuggingFace HubからロードしたOpenELMモデルを使用して出力を生成するためのサンプル関数をgenerate_openelm.pyに用意しています。

以下のコマンドを実行してモデルを試すことができます：

python generate_openelm.py --model apple/OpenELM-1_1B --hf_access_token [HF_ACCESS_TOKEN] --prompt '昔々あるところに' --generate_kwargs repetition_penalty=1.2

Hugging Faceのアクセストークンを取得するにはこちらを参照してください。

Hugging Faceのgenerate関数に追加の引数を渡すには、generate_kwargsを使用します。例えば、推論を高速化するためにlookup token speculative generationを試すには、以下のようにprompt_lookup_num_tokens引数を渡します：

python generate_openelm.py --model apple/OpenELM-1_1B --hf_access_token [HF_ACCESS_TOKEN] --prompt '昔々あるところに' --generate_kwargs repetition_penalty=1.2 prompt_lookup_num_tokens=10

または、より小さいモデルをassistant_model引数で渡してassistive modelを使用したモデル単位のspeculative generationを試すこともできます：

python generate_openelm.py --model apple/OpenELM-1_1B --hf_access_token [HF_ACCESS_TOKEN] --prompt '昔々あるところに' --generate_kwargs repetition_penalty=1.2 --assistant_model [SMALLER_MODEL]

主な結果

ゼロショット

LLM360

OpenLLMリーダーボード

詳細な結果と比較については技術レポートをご覧ください。

評価

セットアップ

以下の依存関係をインストールしてください：

# public lm-eval-harnessをインストール

harness_repo="public-lm-eval-harness"
git clone https://github.com/EleutherAI/lm-evaluation-harness ${harness_repo}
cd ${harness_repo}
# 2024年3月15日のmainブランチを使用（SHAはdc90fec）
git checkout dc90fec
pip install -e .
cd ..

# 2024年4月1日のmainブランチ（66d6242） 
pip install datasets@git+https://github.com/huggingface/datasets.git@66d6242
pip install tokenizers>=0.15.2 transformers>=4.38.2 sentencepiece>=0.2.0

OpenELMの評価

# OpenELM-1_1B
hf_model=apple/OpenELM-1_1B

# OpenELMはLLaMAトークナイザーを使用しており、add_bos_tokenをTrueにする必要があるため、このフラグが必要です
tokenizer=meta-llama/Llama-2-7b-hf
add_bos_token=True
batch_size=1

mkdir lm_eval_output

shot=0
task=arc_challenge,arc_easy,boolq,hellaswag,piqa,race,winogrande,sciq,truthfulqa_mc2
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=5
task=mmlu,winogrande
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=25
task=arc_challenge,crows_pairs_english
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=10
task=hellaswag
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

バイアス、リスク、制限事項

OpenELMモデルの公開は、最先端の言語モデルへのアクセスを提供することで、オープンな研究コミュニティを強化し、豊かにすることを目的としています。これらのモデルは公開されているデータセットでトレーニングされており、安全性の保証なしに公開されています。そのため、ユーザーのプロンプトに対して不正確な、有害な、偏った、または不快な出力を生成する可能性があります。したがって、ユーザーと開発者は、各自の要件に合わせた徹底的な安全性テストと適切なフィルタリングメカニズムを実装することが不可欠です。

引用

私たちの研究が役立った場合は、以下の文献を引用してください：

@article{mehtaOpenELMEfficientLanguage2024,
	title = {{OpenELM}: {An} {Efficient} {Language} {Model} {Family} with {Open} {Training} and {Inference} {Framework}},
	shorttitle = {{OpenELM}},
	url = {https://arxiv.org/abs/2404.14619v1},
	language = {en},
	urldate = {2024-04-24},
	journal = {arXiv.org},
	author = {Mehta, Sachin and Sekhavat, Mohammad Hossein and Cao, Qingqing and Horton, Maxwell and Jin, Yanzi and Sun, Chenfan and Mirzadeh, Iman and Najibi, Mahyar and Belenko, Dmitry and Zatloukal, Peter and Rastegari, Mohammad},
	month = apr,
	year = {2024},
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}