Openelm 1 1B Instruct

🚀 OpenELM

OpenELM 是一系列开放的高效 语言模型。它采用逐层缩放策略，在Transformer模型的每一层内高效分配参数，从而提高了模型的准确性。该模型使用 CoreNet 库进行预训练，发布了参数规模为2.7亿、4.5亿、11亿和30亿的预训练模型和指令微调模型。同时，还发布了完整的框架，包括数据准备、训练、微调、评估等流程，以及多个预训练检查点和训练日志，以支持开放研究。

其预训练数据集包含 RefinedWeb、去重后的 PILE、RedPajama 的一个子集和 Dolma v1.6 的一个子集，总计约18万亿个标记。在使用这些数据集之前，请查看相关的许可协议和条款。

🚀 快速开始

我们在 generate_openelm.py 中提供了一个示例函数，用于从通过 HuggingFace Hub 加载的 OpenELM 模型生成输出。你可以运行以下命令来尝试该模型：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2

请参考 此链接 获取你的 Hugging Face 访问令牌。

可以通过 generate_kwargs 传递额外的参数给 Hugging Face 的生成函数。例如，为了加速推理，你可以尝试通过传递 prompt_lookup_num_tokens 参数来使用 查找令牌推测生成，如下所示：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 prompt_lookup_num_tokens=10

或者，通过 assistant_model 参数传递一个较小的模型，尝试使用 辅助模型 进行模型级别的推测生成，例如：

python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 --assistant_model [SMALLER_MODEL]

✨ 主要特性

• 高效参数分配：采用逐层缩放策略，在Transformer模型的每一层内高效分配参数，提高了模型的准确性。
• 多参数规模模型：发布了参数规模为2.7亿、4.5亿、11亿和30亿的预训练模型和指令微调模型。
• 完整框架发布：发布了完整的框架，包括数据准备、训练、微调、评估等流程，以及多个预训练检查点和训练日志。

💻 使用示例

基础用法

# 运行以下命令来尝试该模型
python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2

高级用法

# 为了加速推理，尝试通过传递 prompt_lookup_num_tokens 参数来使用查找令牌推测生成
python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 prompt_lookup_num_tokens=10

# 尝试使用辅助模型进行模型级别的推测生成
python generate_openelm.py --model apple/OpenELM-1_1B-Instruct --hf_access_token [HF_ACCESS_TOKEN] --prompt 'Once upon a time there was' --generate_kwargs repetition_penalty=1.2 --assistant_model [SMALLER_MODEL]

📚 详细文档

主要结果

零样本学习

LLM360

OpenLLM 排行榜

更多结果和比较请参考技术报告。

评估

环境设置

安装以下依赖项：

# 安装公共的 lm-eval-harness
harness_repo="public-lm-eval-harness"
git clone https://github.com/EleutherAI/lm-evaluation-harness ${harness_repo}
cd ${harness_repo}
# 使用 2024 年 3 月 15 日的主分支，SHA 为 dc90fec
git checkout dc90fec
pip install -e .
cd ..

# 66d6242 是 2024 年 4 月 1 日的主分支
pip install datasets@git+https://github.com/huggingface/datasets.git@66d6242
pip install tokenizers>=0.15.2 transformers>=4.38.2 sentencepiece>=0.2.0

评估 OpenELM

# OpenELM-1_1B-Instruct
hf_model=apple/OpenELM-1_1B-Instruct

# 由于 lm-eval-harness 默认将 add_bos_token 设置为 False，但 OpenELM 使用的 LLaMA 分词器需要 add_bos_token 为 True，因此需要此标志
tokenizer=meta-llama/Llama-2-7b-hf
add_bos_token=True
batch_size=1

mkdir lm_eval_output

shot=0
task=arc_challenge,arc_easy,boolq,hellaswag,piqa,race,winogrande,sciq,truthfulqa_mc2
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=5
task=mmlu,winogrande
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=25
task=arc_challenge,crows_pairs_english
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

shot=10
task=hellaswag
lm_eval --model hf \
        --model_args pretrained=${hf_model},trust_remote_code=True,add_bos_token=${add_bos_token},tokenizer=${tokenizer} \
        --tasks ${task} \
        --device cuda:0 \
        --num_fewshot ${shot} \
        --output_path ./lm_eval_output/${hf_model//\//_}_${task//,/_}-${shot}shot \
        --batch_size ${batch_size} 2>&1 | tee ./lm_eval_output/eval-${hf_model//\//_}_${task//,/_}-${shot}shot.log

🔧 技术细节

OpenELM 采用逐层缩放策略，在Transformer模型的每一层内高效分配参数，从而提高了模型的准确性。其预训练数据集包含 RefinedWeb、去重后的 PILE、RedPajama 的一个子集和 Dolma v1.6 的一个子集，总计约18万亿个标记。

📄 许可证

本项目采用 apple-sample-code-license 许可证。

⚠️ 重要提示

OpenELM 模型的发布旨在为开放研究社区提供最先进的语言模型，以促进和丰富相关研究。这些模型是在公开可用的数据集上训练的，不提供任何安全保证。因此，这些模型有可能根据用户的提示产生不准确、有害、有偏见或令人反感的输出。因此，用户和开发者必须进行全面的安全测试，并根据具体需求实施适当的过滤机制。

💡 使用建议

在使用 OpenELM 模型时，建议你仔细阅读相关的许可协议和条款，并根据自己的需求进行适当的调整和优化。同时，为了确保模型的安全性和可靠性，建议你进行充分的测试和验证。

📚 引用

如果你觉得我们的工作有用，请引用以下文献：

@article{mehtaOpenELMEfficientLanguage2024,
	title = {{OpenELM}: {An} {Efficient} {Language} {Model} {Family} with {Open} {Training} and {Inference} {Framework}},
	shorttitle = {{OpenELM}},
	url = {https://arxiv.org/abs/2404.14619v1},
	language = {en},
	urldate = {2024-04-24},
	journal = {arXiv.org},
	author = {Mehta, Sachin and Sekhavat, Mohammad Hossein and Cao, Qingqing and Horton, Maxwell and Jin, Yanzi and Sun, Chenfan and Mirzadeh, Iman and Najibi, Mahyar and Belenko, Dmitry and Zatloukal, Peter and Rastegari, Mohammad},
	month = apr,
	year = {2024},
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}