Minillm 0.2B Base

🚀 小参数量LLMプロジェクト

このプロジェクトは、小さなパラメータ数のLLMを構築することを目的としています。事前学習 -> 命令微調整 -> 報酬モデル -> 強化学習 の4つの段階を完全に経て、制御可能なコストで簡単なチャットタスクを実行できるチャットモデルを完成させます。

🚀 クイックスタート

環境のインストール

pip install bert4torch==0.4.9.post2  # 見つからない場合は　-i https://pypi.org/simple を指定

スクリプトの説明

# terminalを閉じても実行を続けるには、nohup, tmux, screenを使用して起動します
# 例: nohup torchrun --standalone --nproc_per_node=4 pretrain.py --name baby > nohup.log&

# 事前学習
cd pretrain
torchrun --standalone --nproc_per_node=4 pretrain.py  # 一部の場合、ddp訓練中に崩れることがあります。`export NCCL_IB_DISABLE=1` を設定する必要があります

# 事前学習推論（コマンドラインチャット）
cd pretrain
python infer.py  # python infer_transformers.py

# 命令微調整訓練
cd sft
python sft.py

# 命令微調整推論（コマンドラインチャット）
cd sft
python infer.py  # python infer_transformers.py

# ckptをtransformersで実行可能な形式に変換
cd docs
python convert.py

✨ 主な機能

• bert4torch 訓練フレームワークを使用しており、コードが簡潔で効率的です。
• 訓練されたチェックポイントは、transformers パッケージを使用して直接推論できます。
• 訓練時のメモリ使用量を最適化しています。
• 完全な訓練ログを提供し、再現性の比較が可能です。

📦 事前学習

4.1 事前学習コーパス（baby-llama2-chinese から）

プロジェクトでは、ChatGLM2 - 6Bのトークナイザーで処理された事前学習コーパスをオープンソース化しており、合計634億トークンのデータ量です。リンクは以下の通りです：[Corpus](https://pan.baidu.com/s/18o4gF - G68qfgOGWQXgAg3g) パスワード：6unr。

4.2 事前学習ウェイト

4.3 事前学習プロセス

• 訓練パラメータ設定と訓練時間

4.4 事前学習モデルの呼び出し

# 以下の2行はネットワーク状況に応じて追加してください
import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"

from transformers import AutoTokenizer, LlamaForCausalLM
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model_name = 'Tongjilibo/MiniLLM-L12_H1024_A8-WithWudao'  # 'Tongjilibo/MiniLLM-L12_H1024_A8-NoWudao'

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = LlamaForCausalLM.from_pretrained(model_name).to(device)

query = '王鹏是一名'
inputs = tokenizer.encode(query, return_tensors='pt', add_special_tokens=False).to(device)
output_ids = model.generate(inputs)
response = tokenizer.decode(output_ids[0].cpu(), skip_special_tokens=True)
print(response)

4.5 事前学習の続き書き結果

• MiniLLM - L12_H1024_A8 - NoWudao

ユーザー：小明学习优异、身体健康、是一名

続き書き：小明学习优异、身体健康、是一名优秀的大连理工大学学生，从大学一年级起，他就对体育十分痴迷，成绩名列前茅，还参加了多项比赛，在全校体育活动中，他成绩名列前茅，被大连理工大学授予“优秀运动员”称号。
2006年，高中二年级，小明的同学杨帆来到大连理工大学，他决心要改变自己的命运。他每天放学后，都会跑到操场上练习篮球，练到下午三点多钟时，小明的篮球技术开始显现出来，他的篮球动作敏捷，力量大，而且，他经常利用空档时间练习跳投


ユーザー：床前明月光，疑是地上霜。举头望明月，

続き書き：床前明月光，疑是地上霜。举头望明月，低头思故乡……”
我读着这些诗句时也倍感亲切和亲切了！

• MiniLLM - L12_H1024_A8 - WithWudao

ユーザー：小明学习优异、身体健康、是一名

続き書き：小明学习优异、身体健康、是一名优秀的教师。他为人诚实、有责任心。在课堂上，他能认真听讲，积极思考，对每节课都积极举手发言。在课后，他主动要求帮助老师，认真做好作业，按时完成老师布置的作业，受到同学们的好评。


ユーザー：床前明月光，疑是地上霜。举头望明月，

続き書き：床前明月光，疑是地上霜。举头望明月，低头思故乡。”この詩は、中秋の夜の暖かさと静けさを描写するだけでなく、作者の故郷への深い愛着と郷愁を表しています。「月上柳梢頭」は、月下の景色を描写しています。「欲将心事付瑶琴」は、別れの思いを訴えようとすることを指しています。「挙頭望明月」は、中秋の夜に月が高く掲げられ、皓月が空に輝き、星が輝く景色を描写しています。「低頭思故郷」は、故郷への深い思いを表しています。
この詩は、主に象徴的な手法を用いています。

📦 命令微調整

5.1 命令微調整コーパス（選択された利用可能なデータセット）

5.2 命令微調整ウェイト

5.3 命令微調整訓練プロセス

• 訓練パラメータ設定と訓練時間

5.4 命令微調整モデルの呼び出し

# 以下の2行はネットワーク状況に応じて追加してください
import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"

from transformers import AutoTokenizer, LlamaForCausalLM
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model_name = 'Tongjilibo/MiniLLM-L12_H1024_A8-WithWudao-SFT_Alpaca'

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = LlamaForCausalLM.from_pretrained(model_name).to(device)

query = '你好'
query = f'<human>{query}<robot>'
inputs = tokenizer.encode(query, return_tensors='pt', add_special_tokens=False).to(device)
output_ids = model.generate(inputs)
response = tokenizer.decode(output_ids[0].cpu(), skip_special_tokens=True)[len(query):]
print(response)

5.5 命令微調整チャット結果

• MiniLLM - L12_H1024_A8 - WithWudao - SFT_Alpaca

ユーザー：你好

応答：你好！很高兴见到你。

ユーザー：你能做什么？

応答：你好！我是一个人工智能助手，有什么我可以为你做的吗？

ユーザー：番茄炒蛋怎么制作？

応答：如果你想要制作一个番茄炒蛋，那么下面这些步骤可能会帮助你：

1. 准备食材：准备好鸡蛋、盐、香菜、胡萝卜丝、黄瓜丝等食材。
2. 清洗鸡蛋：在搅拌碗中打散鸡蛋，使其表面可以清洁。
3. 准备材料：准备一个锅，倒入适量的水，将鸡蛋液倒入锅中。
4. 煮鸡蛋：用汤锅或锅煎至鸡蛋表面金黄色，熟透即可。
5. 炒蔬菜：在锅中加入适量的油，将胡萝卜丝和黄瓜丝个人喜欢的，翻炒几下，直到胡萝卜熟透。
6. 加入鸡蛋：从锅中取出鸡蛋，倒入锅中。
7. 调味：将炒好的鸡蛋倒入锅中，与蔬菜一起翻炒几下即可。

注意：想要炒出更丰富的蔬菜味道，可以适当加入适量的盐和香菜，增加风味。

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスの下で公開されています。

📚 更新履歴

• 20240316：初期コミット、事前学習モデルMiniLLM - MiniLLM - L12_H1024_A8 - NoWudaoとMiniLLM - MiniLLM - L12_H1024_A8 - WithWudao；SFTモデルMiniLLM - L12_H1024_A8 - WithWudao - SFT_Alpaca