🚀 测试BERT微调命名实体识别模型
本模型是基于 bert-base-cased 在 conll2003 数据集上进行微调的版本。它在评估集上取得了以下成绩:
- 损失率:0.0600
- 精确率:0.9355
- 召回率:0.9514
- F1值:0.9433
- 准确率:0.9868
📚 详细文档
模型信息
属性 |
详情 |
模型类型 |
基于 BERT 微调的命名实体识别模型 |
训练数据 |
conll2003 数据集 |
指标 |
精确率、召回率、F1值、准确率 |
模型评估结果
任务 |
数据集 |
指标类型 |
指标值 |
是否验证 |
验证令牌 |
标记分类 |
conll2003 |
精确率 |
0.9354625186165811 |
否 |
无 |
标记分类 |
conll2003 |
召回率 |
0.9513631773813531 |
否 |
无 |
标记分类 |
conll2003 |
F1值 |
0.943345848977889 |
否 |
无 |
标记分类 |
conll2003 |
准确率 |
0.9867545770294931 |
否 |
无 |
标记分类 |
conll2003(测试集) |
准确率 |
0.9003797607979704 |
是 |
eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOGVlNjEyMTJmOTBhMmE1NjY1ODA3MTE0ZjM1YjU5Mzk2ZTY1NWE2MTZiMGMxZTRiNDNjNzNiYzI2NzZiMzAxMiIsInZlcnNpb24iOjF9.ScTPJWA72u8-LTp78w7U8teH-TXdyWnoz4vnK-1TefERahcKQ51eekHI_2xjOPe-1uQmw5z8rKTZfh3MOv-HCw |
标记分类 |
conll2003(测试集) |
精确率 |
0.9286807108391197 |
是 |
eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYjc0OGM4MTQ0OGM3NzA1ZTJmODg4YmJiZTZjOTVkZWYzZGYxZGYzZThhYzRkMzAxOWNhZmQ0NmJhNTMxZGI4MCIsInZlcnNpb24iOjF9.vloc_Hl4_UmVHUMTN2utIKJ2gYntSlZVuVJNkeGn-fR9SeRbKzmkBds4GQNjsV0JiVmnX0POB1hUqRGP4UjdAg |
标记分类 |
conll2003(测试集) |
召回率 |
0.9158238551580065 |
是 |
eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYzE2ZGIwNTAzNDhkMDc0MmU2NTQ2MjIyNjA0NzI0N2JiNDM3NjgxNTU3YmNiNWIwOTRmYzNkMTE0MmUyOTNhNiIsInZlcnNpb24iOjF9.-mi3lImJs1-993tdLiTL7KGFEb-jZJVrviqUlFaVY0rgkojDvRyhbUBnJoD4dadh728kRDTH5NW-ZKb9B9FTDg |
标记分类 |
conll2003(测试集) |
F1值 |
0.9222074745602832 |
是 |
eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOGE1ODE0MGUzZmFhZTNhOWMwMzk3NzQ5MTQwOWIyNjAxZWUwMDgzNDBlNGIyNmY4YmQ4ZDRmOTljZmYyNGYzOCIsInZlcnNpb24iOjF9.PjQJinFobofJhCpsTLEuMSjsskLfbOmAPPQVGWBGk7jYOi3lvd9CUn9i_g1GlbbxuxmO1L9sMAj-pANn-aQiAA |
标记分类 |
conll2003(测试集) |
损失率 |
0.8705922365188599 |
是 |
eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOGI2YTU4ZmExYmZmMjBmMjM3ZWJhNDA0OGMwZjM4YWE4MjU1YmFjMTQxMjQ5MDlhNzYzYTBmYTc3YzRkN2UwOCIsInZlcnNpb24iOjF9.iyuIRW9M-yknXWi2Whboo-rjzicgxSGaeCpypgiQVYexjenzA5itKt_CDx52t7508zYshp-1ERnEHuEwBic9Aw |
训练过程
训练超参数
在训练过程中使用了以下超参数:
- 学习率:2e-05
- 训练批次大小:8
- 评估批次大小:8
- 随机种子:42
- 优化器:Adam(β1=0.9,β2=0.999,ε=1e-08)
- 学习率调度器类型:线性
- 训练轮数:3
训练结果
训练损失率 |
轮数 |
步数 |
验证损失率 |
精确率 |
召回率 |
F1值 |
准确率 |
0.0849 |
1.0 |
1756 |
0.0713 |
0.9144 |
0.9366 |
0.9253 |
0.9817 |
0.0359 |
2.0 |
3512 |
0.0658 |
0.9346 |
0.9500 |
0.9422 |
0.9860 |
0.0206 |
3.0 |
5268 |
0.0600 |
0.9355 |
0.9514 |
0.9433 |
0.9868 |
框架版本
- Transformers:4.11.0.dev0
- Pytorch:1.8.1+cu111
- Datasets:1.12.1.dev0
- Tokenizers:0.10.3
📄 许可证
本模型采用 Apache-2.0 许可证。