Minillm 0.2B WithWudao

🚀 MiniLLM項目

本項目致力於構建一個小參數量的大語言模型（LLM），完整經歷預訓練 -> 指令微調 -> 獎勵模型 -> 強化學習 四個階段，以可控成本打造一個能完成簡單聊天任務的聊天模型。

🚀 快速開始

環境安裝

pip install bert4torch==0.4.9.post2  # 若找不到則指定　-i https://pypi.org/simple

腳本說明

# 為防止terminal關閉，可以使用nohup, tmux, screen方式來啟動
# eg. nohup torchrun --standalone --nproc_per_node=4 pretrain.py --name baby > nohup.log&

# 預訓練
cd pretrain
torchrun --standalone --nproc_per_node=4 pretrain.py  # 部分反映ddp訓到一般會崩，需設置`export NCCL_IB_DISABLE=1`

# 預訓練推理（命令行聊天）
cd pretrain
python infer.py  # python infer_transformers.py

# 指令微調訓練
cd sft
python sft.py

# 指令微調推理（命令行聊天）
cd sft
python infer.py  # python infer_transformers.py

# 把ckpt轉化成transformers可以運行的格式
cd docs
python convert.py

✨ 主要特性

• 使用bert4torch訓練框架，代碼簡潔高效。
• 訓練的checkpoint可以直接使用transformers包進行推理。
• 優化了訓練時候內存佔用。
• 提供了完整訓練log供復現比對。

📚 詳細文檔

預訓練

預訓練語料（源於baby-llama2-chinese）

項目開源了經過ChatGLM2-6B的分詞器處理後的預訓練語料，共計634億Tokens的數據量，鏈接如下：Corpus 提取碼：6unr。

預訓練權重

預訓練過程

• 訓練參數配置和訓練時長

預訓練模型調用

# 以下兩句視網絡情況添加
import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"

from transformers import AutoTokenizer, LlamaForCausalLM
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model_name = 'Tongjilibo/MiniLLM-L12_H1024_A8-WithWudao'  # 'Tongjilibo/MiniLLM-L12_H1024_A8-NoWudao'

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = LlamaForCausalLM.from_pretrained(model_name).to(device)

query = '王鵬是一名'
inputs = tokenizer.encode(query, return_tensors='pt', add_special_tokens=False).to(device)
output_ids = model.generate(inputs)
response = tokenizer.decode(output_ids[0].cpu(), skip_special_tokens=True)
print(response)

預訓練續寫效果

• MiniLLM-L12_H1024_A8-NoWudao

用戶：小明學習優異、身體健康、是一名

續寫：小明學習優異、身體健康、是一名優秀的大連理工大學學生，從大學一年級起，他就對體育十分痴迷，成績名列前茅，還參加了多項比賽，在全校體育活動中，他成績名列前茅，被大連理工大學授予“優秀運動員”稱號。
2006年，高中二年級，小明的同學楊帆來到大連理工大學，他決心要改變自己的命運。他每天放學後，都會跑到操場上練習籃球，練到下午三點多鐘時，小明的籃球技術開始顯現出來，他的籃球動作敏捷，力量大，而且，他經常利用空檔時間練習跳投


用戶：床前明月光，疑是地上霜。舉頭望明月，

續寫：床前明月光，疑是地上霜。舉頭望明月，低頭思故鄉……”
我讀著這些詩句時也倍感親切和親切了！

• MiniLLM-L12_H1024_A8-WithWudao

用戶：小明學習優異、身體健康、是一名

續寫：小明學習優異、身體健康、是一名優秀的教師。他為人誠實、有責任心。在課堂上，他能認真聽講，積極思考，對每節課都積極舉手發言。在課後，他主動要求幫助老師，認真做好作業，按時完成老師佈置的作業，受到同學們的好評。


用戶：床前明月光，疑是地上霜。舉頭望明月，

續寫：床前明月光，疑是地上霜。舉頭望明月，低頭思故鄉。”這詩不僅描述了中秋夜月夜的溫馨與寧靜，還寫出了作者對故土深情的眷戀和思鄉之情。“月上柳梢頭”一語，是寫月下所見。“欲將心事付瑤琴”，指欲訴別情； “舉頭望明月”，寫中秋之夜，月上高掛、皓月當空、群星閃耀的景象；“低頭思故鄉”，寫思念故土的深情厚意。
這首詩在寫作手法上，主要運用象徵

指令微調

指令微調語料（篩選的可用數據集）

指令微調權重

指令微調訓練過程

• 訓練參數配置和訓練時長

指令微調模型調用

# 以下兩句視網絡情況添加
import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"

from transformers import AutoTokenizer, LlamaForCausalLM
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model_name = 'Tongjilibo/MiniLLM-L12_H1024_A8-WithWudao-SFT_Alpaca'

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = LlamaForCausalLM.from_pretrained(model_name).to(device)

query = '你好'
query = f'<human>{query}<robot>'
inputs = tokenizer.encode(query, return_tensors='pt', add_special_tokens=False).to(device)
output_ids = model.generate(inputs)
response = tokenizer.decode(output_ids[0].cpu(), skip_special_tokens=True)[len(query):]
print(response)

指令微調Chat效果

• MiniLLM-L12_H1024_A8-WithWudao-SFT_Alpaca

User：你好

Assistant：你好！很高興見到你。

User：你能做什麼？

Assistant：你好！我是一個人工智能助手，有什麼我可以為你做的嗎？

User：番茄炒蛋怎麼製作？

Assistant：如果你想要製作一個番茄炒蛋，那麼下面這些步驟可能會幫助你：

1. 準備食材：準備好雞蛋、鹽、香菜、胡蘿蔔絲、黃瓜絲等食材。
2. 清洗雞蛋：在攪拌碗中打散雞蛋，使其表面可以清潔。
3. 準備材料：準備一個鍋，倒入適量的水，將雞蛋液倒入鍋中。
4. 煮雞蛋：用湯鍋或鍋煎至雞蛋表面金黃色，熟透即可。
5. 炒蔬菜：在鍋中加入適量的油，將胡蘿蔔絲和黃瓜絲個人喜歡的，翻炒幾下，直到胡蘿蔔熟透。
6. 加入雞蛋：從鍋中取出雞蛋，倒入鍋中。
7. 調味：將炒好的雞蛋倒入鍋中，與蔬菜一起翻炒幾下即可。

注意：想要炒出更豐富的蔬菜味道，可以適當加入適量的鹽和香菜，增加風味。

📄 許可證

本項目採用Apache-2.0許可證。

🔄 更新歷史

• 20240316：初始提交，預訓練模型MiniLLM-MiniLLM-L12_H1024_A8-NoWudao和MiniLLM-MiniLLM-L12_H1024_A8-WithWudao；SFT模型MiniLLM-L12_H1024_A8-WithWudao-SFT_Alpaca。

⚠️ 重要提示

本實驗訓練出來的模型，目前只具備簡單的聊天功能（受限於語料大小、模型規模、sft語料大小和質量），不具備回答複雜問題的能力。