Bart Base Chinese

🚀 中文BART-Base

中文BART-Base是一个用于文本生成的模型，它基于BART架构，适用于中文文本处理，能在多种自然语言处理任务中发挥作用。

🚀 快速开始

你可以按照以下步骤使用该模型：

>>> from transformers import BertTokenizer, BartForConditionalGeneration, Text2TextGenerationPipeline
>>> tokenizer = BertTokenizer.from_pretrained("fnlp/bart-base-chinese")
>>> model = BartForConditionalGeneration.from_pretrained("fnlp/bart-base-chinese")
>>> text2text_generator = Text2TextGenerationPipeline(model, tokenizer)  
>>> text2text_generator("北京是[MASK]的首都", max_length=50, do_sample=False)
    [{'generated_text': '北 京 是 中 国 的 首 都'}]

⚠️ 重要提示

请使用BertTokenizer处理模型词汇，请勿使用原始的BartTokenizer。

✨ 主要特性

模型更新

2022年12月30日

发布了CPT和中文BART的更新版本。在新版本中，对以下部分进行了更改：

• 词汇表：用一个从训练数据构建的更大的、大小为51271的词汇表替换了旧的BERT词汇表。具体操作包括：1) 添加了缺失的6800多个中文字符（其中大部分是繁体字）；2) 移除了冗余的标记（例如带有##前缀的中文字符标记）；3) 添加了一些英文标记以减少未登录词（OOV）。
• 位置嵌入：将最大位置嵌入 max_position_embeddings 从512扩展到1024。

使用旧版本的检查点对新版本的模型进行初始化，并进行词汇对齐。复制旧检查点中找到的标记嵌入，其他新添加的参数则随机初始化。进一步对新的CPT和中文BART进行了50K步的训练，批次大小为2048，最大序列长度为1024，峰值学习率为2e - 5，热身比率为0.1。

性能对比

与之前的检查点相比，结果如下：

结果表明，更新后的模型与之前的检查点相比保持了相当的性能。仍有一些情况是更新后的模型略逊于之前的模型，原因如下：1) 额外的几步训练并未带来显著的性能提升；2) 一些下游任务不受新添加标记和更长编码序列的影响，但对微调超参数敏感。

⚠️ 重要提示

要使用更新后的模型，请更新 modeling_cpt.py（新版本下载点击此处）和词汇表（刷新缓存）。

📚 详细文档

模型描述

这是中文BART - Base的一个实现。

CPT: A Pre - Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation

作者：Yunfan Shao, Zhichao Geng, Yitao Liu, Junqi Dai, Fei Yang, Li Zhe, Hujun Bao, Xipeng Qiu

Github链接：https://github.com/fastnlp/CPT

📄 许可证

引用信息

@article{shao2021cpt,
  title={CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation}, 
  author={Yunfan Shao and Zhichao Geng and Yitao Liu and Junqi Dai and Fei Yang and Li Zhe and Hujun Bao and Xipeng Qiu},
  journal={arXiv preprint arXiv:2109.05729},
  year={2021}
}