🚀 bert-keyword-extractor
本模型是在未知数据集上对 bert-base-cased 进行微调后的版本。它可从文本中提取关键词,为信息检索和文本分析提供支持,有助于用户快速定位关键信息。
📚 详细文档
模型信息
该模型是 bert-base-cased 的微调版本,在评估集上取得了以下结果:
- 损失值:0.1341
- 精确率:0.8565
- 召回率:0.8874
- 准确率:0.9738
- F1值:0.8717
训练和评估数据
文档未提供训练和评估数据的详细信息。
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:2e-05
- 训练批次大小:16
- 评估批次大小:16
- 随机种子:42
- 优化器:Adam(β1 = 0.9,β2 = 0.999,ε = 1e-08)
- 学习率调度器类型:线性
- 训练轮数:8
- 混合精度训练:Native AMP
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
精确率 |
召回率 |
准确率 |
F1值 |
0.1688 |
1.0 |
1875 |
0.1233 |
0.7194 |
0.7738 |
0.9501 |
0.7456 |
0.1219 |
2.0 |
3750 |
0.1014 |
0.7724 |
0.8166 |
0.9606 |
0.7939 |
0.0834 |
3.0 |
5625 |
0.0977 |
0.8280 |
0.8263 |
0.9672 |
0.8272 |
0.0597 |
4.0 |
7500 |
0.0984 |
0.8304 |
0.8680 |
0.9704 |
0.8488 |
0.0419 |
5.0 |
9375 |
0.1042 |
0.8417 |
0.8687 |
0.9717 |
0.8550 |
0.0315 |
6.0 |
11250 |
0.1161 |
0.8520 |
0.8839 |
0.9729 |
0.8677 |
0.0229 |
7.0 |
13125 |
0.1282 |
0.8469 |
0.8939 |
0.9734 |
0.8698 |
0.0182 |
8.0 |
15000 |
0.1341 |
0.8565 |
0.8874 |
0.9738 |
0.8717 |
框架版本
- Transformers 4.19.2
- Pytorch 1.11.0+cu113
- Datasets 2.2.2
- Tokenizers 0.12.1
📄 许可证
本模型采用 Apache-2.0 许可证。
🔍 模型标签
- 由训练器生成
- 评估指标:精确率、召回率、准确率、F1值
📊 模型小部件示例
- 文本:“博通同意以 610 亿美元(570 亿欧元)的现金加股票交易收购云计算公司 VMware,这极大地拓展了这家芯片制造商的业务,使其软件相关收入几乎增长两倍,占总销售额的约 45%。具体情况如下:VMware 股东每持有一股 VMware 股票,将获得 142.50 美元现金或 0.2520 股博通股票。博通还将承担 VMware 80 亿美元的净债务。”
- 文本:“加拿大自然资源部长乔纳森·威尔金森告诉彭博社,加拿大可以在短短三年内开始向欧洲供应液化天然气(LNG),方法是将加拿大东海岸现有的一个 LNG 进口设施改造成出口终端。关键信息:威尔金森表示,加拿大关心的是新的 LNG 设施采用低排放的天然气加工工艺,并能够在未来过渡到出口氢气。”
- 文本:“谷歌正因在‘广告技术栈’(即促进广告商和卖家之间在线广告位销售的一系列服务)中的主导地位而受到英国反垄断监管机构的调查。谷歌在广告技术栈的各个层面都占据强势地位,并向发布商和广告商收取费用。相关背景:英国竞争与市场管理局也在调查谷歌和 Meta 是否在广告业务上存在勾结,对两家公司代号为‘绝地蓝’的广告协议进行了调查。”
- 文本:“美国证券交易委员会(SEC)的 13D 文件显示,埃隆·马斯克承诺额外投入 62.5 亿美元自有资金,为 440 亿美元的收购交易提供资金,使总出资额从最初的 272.5 亿美元增至 335 亿美元。消息公布后,推特股价收盘上涨 6.35%。其他消息:推特前首席执行官杰克·多尔西宣布将卸任,但将继续留在推特董事会,‘直到他在 2022 年股东大会上的任期结束’。”