Llama2 Xs 460M Experimental

🚀 LLaMa Lite：LLaMA和LLaMa 2的缩减规模实验版本

本系列仓库开源复现了Meta AI的LLaMA和LLaMa 2大语言模型。不过，模型规模大幅缩减，llama1_s实验版本有18亿参数，llama2_xs实验版本有4.6亿参数（'s'代表小，'xs'代表极小）。

✨ 主要特性

• 提供LLaMA和LLaMa 2的缩减规模实验版本。
• 可直接使用HuggingFace Transformers库加载实验模型。

📦 安装指南

文档未提及安装步骤，可参考HuggingFace Transformers库的安装方法来使用本实验模型。

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# model_path = 'ahxt/llama2_xs_460M_experimental'
model_path = 'ahxt/llama1_s_1.8B_experimental'

model = AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

prompt = 'Q: What is the largest bird?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
tokens = model.generate(input_ids, max_length=20)
print( tokenizer.decode(tokens[0].tolist(), skip_special_tokens=True) )
# Q: What is the largest bird?\nA: The largest bird is the bald eagle.

📚 详细文档

数据集与分词

我们在部分RedPajama数据集上训练模型，使用GPT2Tokenizer对文本进行分词。

使用HuggingFace Transformers库

实验模型的检查点可直接通过Transformers库加载。上述代码片段展示了如何加载实验模型并生成文本。

评估

我们在MMLU任务上对模型进行评估，结果如下：

Open LLM Leaderboard评估结果

详细结果可查看此处

🔧 技术细节

• 数据集：使用RedPajama数据集的部分数据进行训练。
• 分词器：采用GPT2Tokenizer进行文本分词。
• 评估任务：在MMLU任务上对模型进行评估，同时在Open LLM Leaderboard的多个指标上展示了评估结果。

📄 联系信息

此实验版本由德州农工大学的韩小天开发，且仅用于研究目的。