Llama2 Xs 460M Experimental

🚀 LLaMa Lite：LLaMA和LLaMa 2的縮減規模實驗版本

本系列倉庫開源復現了Meta AI的LLaMA和LLaMa 2大語言模型。不過，模型規模大幅縮減，llama1_s實驗版本有18億參數，llama2_xs實驗版本有4.6億參數（'s'代表小，'xs'代表極小）。

✨ 主要特性

• 提供LLaMA和LLaMa 2的縮減規模實驗版本。
• 可直接使用HuggingFace Transformers庫加載實驗模型。

📦 安裝指南

文檔未提及安裝步驟，可參考HuggingFace Transformers庫的安裝方法來使用本實驗模型。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# model_path = 'ahxt/llama2_xs_460M_experimental'
model_path = 'ahxt/llama1_s_1.8B_experimental'

model = AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

prompt = 'Q: What is the largest bird?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
tokens = model.generate(input_ids, max_length=20)
print( tokenizer.decode(tokens[0].tolist(), skip_special_tokens=True) )
# Q: What is the largest bird?\nA: The largest bird is the bald eagle.

📚 詳細文檔

數據集與分詞

我們在部分RedPajama數據集上訓練模型，使用GPT2Tokenizer對文本進行分詞。

使用HuggingFace Transformers庫

實驗模型的檢查點可直接通過Transformers庫加載。上述代碼片段展示瞭如何加載實驗模型並生成文本。

評估

我們在MMLU任務上對模型進行評估，結果如下：

Open LLM Leaderboard評估結果

詳細結果可查看此處

🔧 技術細節

• 數據集：使用RedPajama數據集的部分數據進行訓練。
• 分詞器：採用GPT2Tokenizer進行文本分詞。
• 評估任務：在MMLU任務上對模型進行評估，同時在Open LLM Leaderboard的多個指標上展示了評估結果。

📄 聯繫信息

此實驗版本由德州農工大學的韓小天開發，且僅用於研究目的。