Phi2 Chinese 0.2B

🚀 Phi2-Chinese-0.2B 从0开始训练自己的Phi2中文小模型

本项目是一个实验项目，开源了代码及模型权重。不过预训练数据较少，若你需要效果更好的中文小模型，可参考项目ChatLM-mini-Chinese。

🚀 快速开始

本项目旨在从0开始训练Phi2中文小模型，涵盖了数据清洗、tokenizer训练、CLM因果模型预训练、SFT指令微调、RLHF优化等步骤，下面为你详细介绍。

✨ 主要特性

• 开源代码及模型权重，方便用户复现和使用。
• 提供了完整的从0开始训练中文小模型的流程，包括数据处理、模型训练等环节。
• 支持多种训练方法，如CLM预训练、SFT微调、RLHF优化。

📦 安装指南

文档中未提及具体安装步骤，暂不提供相关内容。

💻 使用示例

基础用法

以下是使用本项目模型进行文本生成的示例代码：

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

tokenizer = AutoTokenizer.from_pretrained('charent/Phi2-Chinese-0.2B')
model = AutoModelForCausalLM.from_pretrained('charent/Phi2-Chinese-0.2B').to(device)


txt = '感冒了要怎么办？'
prompt = f"##提问:\n{txt}\n##回答:\n"

# greedy search
gen_conf = GenerationConfig(
    num_beams=1,
    do_sample=False,
    max_length=320,
    max_new_tokens=256,
    no_repeat_ngram_size=4,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.pad_token_id,
)

tokend = tokenizer.encode_plus(text=prompt)
input_ids, attention_mask = torch.LongTensor([tokend.input_ids]).to(device), \
    torch.LongTensor([tokend.attention_mask]).to(device)

outputs = model.generate(
    inputs=input_ids,
    attention_mask=attention_mask,
    generation_config=gen_conf,
)

outs = tokenizer.decode(outputs[0].cpu().numpy(), clean_up_tokenization_spaces=True, skip_special_tokens=True,)
print(outs)

输出示例

##提问:
感冒了要怎么办？
##回答:
感冒是由病毒引起的，感冒一般由病毒引起，以下是一些常见感冒的方法：
- 洗手，特别是在接触其他人或物品后。
- 咳嗽或打喷嚏时用纸巾或手肘遮住口鼻。
- 用手触摸口鼻，特别是喉咙和鼻子。
- 如果咳嗽或打喷嚏，可以用纸巾或手绢来遮住口鼻，但要远离其他人。
- 如果你感冒了，最好不要触摸自己的眼睛、鼻子和嘴巴。
- 在感冒期间，最好保持充足的水分和休息，以缓解身体的疲劳。
- 如果您已经感冒了，可以喝一些温水或盐水来补充体液。
- 另外，如果感冒了，建议及时就医。

📚 详细文档

⚗️ 数据清洗

代码：dataset.ipynb。
数据清洗操作包括句末添加句号、繁体转简体、全角转半角、删除重复的标点符号等。具体的数据清洗过程请参考项目ChatLM-mini-Chinese。

🗨️ tokenizer训练

代码：tokeinzer.ipynb 本项目使用byte level的BPE分词器，同时提供了char level 和byte level两种分词器的训练代码。

训练完的tokenizer需要检查词表中是否有常见的特殊符号，如\t、\n等。可以尝试编一句包含特殊字符的文本进行encode、decode操作，看能否还原。若不包含这些特殊字符，可通过add_tokens函数添加。使用len(tokenizer)获取词表大小，tokenizer.vocab_size不统计自己通过add_tokens函数添加的字符。

tokenizer训练非常吃内存：

• byte level训练1亿个字符至少需要32G内存（其实32G还是不太够，会频繁触发swap），13600k训练时长大概1个小时。
• char level训练6.5亿个字符（刚好是中文wiki百科的数据量）至少需要32G内存，因为多次触发了swap，实际使用量远不止32G，13600K训练时长约半个小时。

所以在处理大数据集（GB级别）时，建议训练tokenizer时从数据集中进行采样。

⛏️ CLM因果模型预训练

代码：pretrain.ipynb

用大量文本进行无监督预训练，主要使用bell open source的数据集BELLE。

数据集格式为一个样本一句话，太长的可以截断分为多个样本。

CLM预训练过程中，模型输入和输出是一样的，计算交叉熵损失的时候，要错开一位（shift）。

预训练时可以不添加EOS、BOS等特殊标记。

⚒️ SFT指令微调

代码：sft.ipynb

主要使用bell open source的数据集，感谢大佬BELLE。

SFT训练的数据格式如下：

text = f"##提问:\n{example['instruction']}\n##回答:\n{example['output'][EOS]"

模型计算损失时会忽略标记"##回答:"之前的部分（"##回答:"也会被忽略），从"##回答:"后面开始。

记得添加EOS句子结束特殊标记，否则模型decode的时候不知道要什么时候停下来。BOS句子开始标记可填可不填。

📝 RLHF优化

本项目使用dpo优化方法，代码：dpo.ipynb

根据个人喜好对SFT模型微调，数据集要构造三列prompt、chosen和 rejected，rejected这一列有部分数据我是从sft阶段初级模型（比如sft训练4个epoch，取0.5个epoch检查点的模型）生成，如果生成的rejected和chosen相似度在0.9以上，则不要这条数据。

DPO过程中要有两个模型，一个是要训练的模型，一个是参考的模型，在加载的时候其实是同一个模型，只不过参考模型不参与参数更新。

📑 本项目模型使用方法

模型权重huggingface仓库：Phi2-Chinese-0.2B

具体使用代码见上文使用示例部分。

🔧 技术细节

本项目涵盖了从数据处理到模型训练的多个环节，涉及到数据清洗、分词器训练、预训练、微调、优化等技术。在数据处理方面，通过对文本进行清洗和转换，提高数据质量；在模型训练方面，采用了CLM预训练、SFT微调、RLHF优化等方法，逐步提升模型性能。

📄 许可证

本项目采用apache-2.0许可证。

🎓 引用

如果你觉得本项目对你有所帮助，欢迎引用。

@misc{Charent2023,
    author={Charent Chen},
    title={A small Chinese causal language model with 0.2B parameters base on Phi2},
    year={2023},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {\url{https://github.com/charent/Phi2-mini-Chinese}},
}

🤔 其他事项

本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。