Openelm 1 1B Instruct

🚀 OpenELM

OpenELM 是一系列開放的高效 語言模型。它採用逐層縮放策略，在Transformer模型的每一層內高效分配參數，從而提高了模型的準確性。該模型使用 CoreNet 庫進行預訓練，發佈了參數規模為2.7億、4.5億、11億和30億的預訓練模型和指令微調模型。同時，還發布了完整的框架，包括數據準備、訓練、微調、評估等流程，以及多個預訓練檢查點和訓練日誌，以支持開放研究。

其預訓練數據集包含 RefinedWeb、去重後的 PILE、RedPajama 的一個子集和 Dolma v1.6 的一個子集，總計約18萬億個標記。在使用這些數據集之前，請查看相關的許可協議和條款。

🚀 快速開始

我們在 generate_openelm.py 中提供了一個示例函數，用於從通過 HuggingFace Hub 加載的 OpenELM 模型生成輸出。你可以運行以下命令來嘗試該模型：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2

請參考 此鏈接 獲取你的 Hugging Face 訪問令牌。

可以通過 generate_kwargs 傳遞額外的參數給 Hugging Face 的生成函數。例如，為了加速推理，你可以嘗試通過傳遞 prompt_lookup_num_tokens 參數來使用 查找令牌推測生成，如下所示：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 prompt_lookup_num_tokens=10

或者，通過 assistant_model 參數傳遞一個較小的模型，嘗試使用 輔助模型 進行模型級別的推測生成，例如：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 --assistant_model [SMALLER_MODEL]

✨ 主要特性

• 高效參數分配：採用逐層縮放策略，在Transformer模型的每一層內高效分配參數，提高了模型的準確性。
• 多參數規模模型：發佈了參數規模為2.7億、4.5億、11億和30億的預訓練模型和指令微調模型。
• 完整框架發佈：發佈了完整的框架，包括數據準備、訓練、微調、評估等流程，以及多個預訓練檢查點和訓練日誌。

💻 使用示例

基礎用法

# 運行以下命令來嘗試該模型
python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2

高級用法

# 為了加速推理，嘗試通過傳遞 prompt_lookup_num_tokens 參數來使用查找令牌推測生成
python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 prompt_lookup_num_tokens=10

# 嘗試使用輔助模型進行模型級別的推測生成
python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 --assistant_model [SMALLER_MODEL]

📚 詳細文檔

主要結果

零樣本學習

LLM360

OpenLLM 排行榜

更多結果和比較請參考技術報告。

評估

環境設置

安裝以下依賴項：

# 安裝公共的 lm-eval-harness
harness_repo="public-lm-eval-harness"
git clone https://github.com/EleutherAI/lm-evaluation-harness ${harness_repo}
cd ${harness_repo}
# 使用 2024 年 3 月 15 日的主分支，SHA 為 dc90fec
git checkout dc90fec
pip install -e .
cd ..

# 66d6242 是 2024 年 4 月 1 日的主分支
pip install datasets@git+https://github.com/huggingface/datasets.git@66d6242
pip install tokenizers>=0.15.2 transformers>=4.38.2 sentencepiece>=0.2.0

評估 OpenELM

# OpenELM-1_1B-Instruct
hf_model=apple/OpenELM-1_1B-Instruct

# 由於 lm-eval-harness 默認將 add_bos_token 設置為 False，但 OpenELM 使用的 LLaMA 分詞器需要 add_bos_token 為 True，因此需要此標誌
tokenizer=meta-llama/Llama-2-7b-hf
add_bos_token=True
batch_size=1

mkdir lm_eval_output

shot=0
task=arc_challenge,arc_easy,boolq,hellaswag,piqa,race,winogrande,sciq,truthfulqa_mc2
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=5
task=mmlu,winogrande
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=25
task=arc_challenge,crows_pairs_english
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=10
task=hellaswag
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

🔧 技術細節

OpenELM 採用逐層縮放策略，在Transformer模型的每一層內高效分配參數，從而提高了模型的準確性。其預訓練數據集包含 RefinedWeb、去重後的 PILE、RedPajama 的一個子集和 Dolma v1.6 的一個子集，總計約18萬億個標記。

📄 許可證

本項目採用 apple-sample-code-license 許可證。

⚠️ 重要提示

OpenELM 模型的發佈旨在為開放研究社區提供最先進的語言模型，以促進和豐富相關研究。這些模型是在公開可用的數據集上訓練的，不提供任何安全保證。因此，這些模型有可能根據用戶的提示產生不準確、有害、有偏見或令人反感的輸出。因此，用戶和開發者必須進行全面的安全測試，並根據具體需求實施適當的過濾機制。

💡 使用建議

在使用 OpenELM 模型時，建議你仔細閱讀相關的許可協議和條款，並根據自己的需求進行適當的調整和優化。同時，為了確保模型的安全性和可靠性，建議你進行充分的測試和驗證。

📚 引用

如果你覺得我們的工作有用，請引用以下文獻：

@article{mehtaOpenELMEfficientLanguage2024,
	title = {{OpenELM}: {An} {Efficient} {Language} {Model} {Family} with {Open} {Training} and {Inference} {Framework}},
	shorttitle = {{OpenELM}},
	url = {https://arxiv.org/abs/2404.14619v1},
	language = {en},
	urldate = {2024-04-24},
	journal = {arXiv.org},
	author = {Mehta, Sachin and Sekhavat, Mohammad Hossein and Cao, Qingqing and Horton, Maxwell and Jin, Yanzi and Sun, Chenfan and Mirzadeh, Iman and Najibi, Mahyar and Belenko, Dmitry and Zatloukal, Peter and Rastegari, Mohammad},
	month = apr,
	year = {2024},
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}