Gpt2 Base Chinese

🚀 CKIP GPT2 基础中文模型

本项目提供了繁体中文的transformers模型（包括ALBERT、BERT、GPT2）以及自然语言处理工具（包括分词、词性标注、实体识别），为中文自然语言处理任务提供了丰富的资源和便利的工具。

🚀 快速开始

本项目提供了多种繁体中文的transformers模型和自然语言处理工具。若要使用该项目，可参考以下内容。

✨ 主要特性

• 提供多种繁体中文transformers模型，如ALBERT、BERT、GPT2。
• 具备自然语言处理工具，涵盖分词、词性标注、实体识别等功能。

💻 使用示例

基础用法

from transformers import (
  BertTokenizerFast,
  AutoModel,
)

tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('ckiplab/gpt2-base-chinese')

注意事项

⚠️ 重要提示

请使用 BertTokenizerFast 而非 AutoTokenizer。

有关完整使用方法及其他资讯，请参见 项目主页。

📚 详细文档

• 项目主页：https://github.com/ckiplab/ckip-transformers

🤝 贡献者

• Mu Yang at CKIP（作者兼维护者）

📄 许可证

本项目采用 GPL-3.0 许可证。