🚀 bart-large-samsum
bart-large-samsum
是一个用于文本摘要的模型,它基于 facebook/bart-large
进行微调,在 samsum
语料库上表现出色,能有效完成抽象文本摘要任务。
🚀 快速开始
推理使用
以下是使用该模型进行推理的示例代码:
from transformers import pipeline
summarizer = pipeline("summarization", model="linydub/bart-large-samsum")
input_text = '''
Henry: Hey, is Nate coming over to watch the movie tonight?
Kevin: Yea, he said he'll be arriving a bit later at around 7 since he gets off of work at 6. Have you taken out the garbage yet?
Henry: Oh I forgot. I'll do that once I'm finished with my assignment for my math class.
Kevin: Yea, you should take it out as soon as possible. And also, Nate is bringing his girlfriend.
Henry: Nice, I'm really looking forward to seeing them again.
'''
summarizer(input_text)
在 AzureML 上微调
你可以通过以下按钮在 AzureML 上进行微调:

更多关于微调过程的信息(包括示例和基准):
[预览] https://github.com/linydub/azureml-greenai-txtsum
📚 详细文档
资源使用情况
这些结果是从 Azure Monitor Metrics
获取的。所有实验都在 AzureML 低优先级计算集群上运行。
属性 |
详情 |
区域 |
美国西部 2 |
AzureML 计算 SKU |
STANDARD_ND40RS_V2 |
计算 SKU GPU 设备 |
8 x NVIDIA V100 32GB (NVLink) |
计算节点数量 |
1 |
运行时长 |
6 分 48 秒 |
计算成本(专用/低优先级) |
2.50 美元 / 0.50 美元 |
平均 CPU 利用率 |
47.9% |
平均 GPU 利用率 |
69.8% |
平均 GPU 内存使用量 |
25.71 GB |
总 GPU 能源使用量 |
370.84 kJ |
*计算成本 ($) 是根据运行时长、使用的计算节点数量和 SKU 的每小时价格估算的。最新的 SKU 定价可在 此处 找到。
碳排放
这些结果是使用 CodeCarbon
获得的。碳排放仅根据训练运行时间估算(不包括设置和评估运行时间)。
属性 |
详情 |
时间戳 |
2021-09-16T23:54:25 |
持续时间 |
263.2430217266083 |
排放量 |
0.029715544634717518 |
能源消耗 |
0.09985062041235725 |
国家名称 |
美国 |
地区 |
华盛顿 |
云服务提供商 |
azure |
云区域 |
westus2 |
超参数
- max_source_length: 512
- max_target_length: 90
- fp16: True
- seed: 1
- per_device_train_batch_size: 16
- per_device_eval_batch_size: 16
- gradient_accumulation_steps: 1
- learning_rate: 5e-5
- num_train_epochs: 3.0
- weight_decay: 0.1
结果
ROUGE 指标 |
得分 |
eval_rouge1 |
55.0234 |
eval_rouge2 |
29.6005 |
eval_rougeL |
44.914 |
eval_rougeLsum |
50.464 |
predict_rouge1 |
53.4345 |
predict_rouge2 |
28.7445 |
predict_rougeL |
44.1848 |
predict_rougeLsum |
49.1874 |
指标 |
值 |
epoch |
3.0 |
eval_gen_len |
30.6027 |
eval_loss |
1.4327096939086914 |
eval_runtime |
22.9127 |
eval_samples |
818 |
eval_samples_per_second |
35.701 |
eval_steps_per_second |
0.306 |
predict_gen_len |
30.4835 |
predict_loss |
1.4501988887786865 |
predict_runtime |
26.0269 |
predict_samples |
819 |
predict_samples_per_second |
31.467 |
predict_steps_per_second |
0.269 |
train_loss |
1.2014821151207233 |
train_runtime |
263.3678 |
train_samples |
14732 |
train_samples_per_second |
167.811 |
train_steps_per_second |
1.321 |
total_steps |
348 |
total_flops |
4.26008990669865e+16 |
📄 许可证
本项目采用 Apache-2.0 许可证。