T5 Vietnamese Summarization
基于T5架构的越南语文本摘要生成模型,在未知数据集上微调,支持生成简洁的越南语摘要。
下载量 510
发布时间 : 9/17/2023
模型简介
该模型专门用于越南语文本的自动摘要生成任务,能够从长文本中提取关键信息生成简洁摘要。
模型特点
越南语优化
专门针对越南语文本进行优化的摘要生成模型
可控生成长度
支持通过参数控制生成摘要的最小和最大长度
中等性能表现
在评估集上达到Rouge1 0.47的分数,适合一般摘要需求
模型能力
越南语文本理解
自动摘要生成
关键信息提取
使用案例
新闻摘要
经济新闻摘要
将长篇经济新闻报道浓缩为简短摘要
如示例所示,能有效提取经济学家观点等关键信息
金融分析
市场动态摘要
总结股市波动和政策影响的关键信息
如示例所示,能捕捉政策变化与市场反应的关联
🚀 T5越南语文本摘要模型
本模型专注于越南语文本摘要任务,基于预训练模型进行微调,能有效处理越南语文本,为用户提供高质量的文本摘要服务。
🚀 快速开始
此模型是 pengold/t5-vietnamese-summarization 在未知数据集上微调后的版本。以下是推理时的参数设置:
min_length
: 5max_length
: 150
推理示例
- 示例 1
summarize: Thảo luận phiên chuyên đề 2 về năng suất lao động tại Diễn đàn
Kinh tế - Xã hội 2023 ngày 19/9, Chuyên gia Kinh tế quốc tế Jonathan Pincus
(Tổ chức phát triển Liên hợp quốc tại Việt Nam) nói việc tăng năng suất lao
động cần nhìn nhận trong quá trình dài hơi thay vì trong giai đoạn ngắn. Rất
khó để một quốc gia có thể tăng trưởng năng suất nhanh trong một giai đoạn
dài, đó chính là bẫy năng suất trung bình, ông Pincus đúc rút, gọi đây là
mối đe dọa lớn.
- 示例 2
summarize: Đây là nỗ lực của chính phủ nhằm giảm đi cơn sốt trên
thị trường chứng khoán. Quyết định này có tác động ngay lập tức.
Chỉ số chính của thị trường chứng khoán Thượng Hải khi đóng cửa
giảm 281.8 điểm, ở mức 4053.1. Một số phân tích gia nói việc cổ
phiếu sụt giá cũng chỉ mang tính tạm thời mà thôi. Ngân hàng Thế
giới giờ đây dự đoán nền kinh tế Trung Quốc sẽ tăng 10.4% trong năm
này. Lúc trước, Ngân hàng Thế giới dự đoán kinh tế Trung Quốc sẽ
tăng 9.6% trong năm 2007. Với việc Bắc Kinh đưa ra hành động nhằm
giảm nhiệt thị trường chứng khoán vào hôm thứ Tư, thuế đối với
cổ phiếu giao dịch giờ đây tăng từ 0.1% lên 0.3%. Tính đến phiên
đóng cửa vào hôm thứ Ba, chỉ số cổ phiếu Thượng Hải đã tăng 62%
trong năm nay, và có giá trị tăng gấp bốn lần kể từ đầu năm 2006.
Ông Thomas Gruener từ Landesbank Berlin nói: “Hành động này có thể
tạo ra việc điều chỉnh giá nhưng nhìn chung chúng tôi không cho là
xu hướng sẽ thay đổi”. Tuy nhiên, việc cổ phiếu Thượng Hải sụt giá
có thể sẽ tác động tới tâm lý của các thị trường chứng khoán
châu Âu. Thế nên các chỉ số chứng khoán tại châu Âu khi mở cửa hôm
thứ Tư đều hạ.
📚 详细文档
评估集结果
该模型在评估集上取得了以下结果:
- Loss:4.6288
- Rouge1:0.4728
- Rouge2:0.1669
- Rougel:0.3049
- Rougelsum:0.3049
- Gen Len:18.7458
训练超参数
训练过程中使用了以下超参数:
参数 | 值 |
---|---|
learning_rate |
2e-05 |
train_batch_size |
16 |
eval_batch_size |
16 |
seed |
42 |
optimizer |
Adam with betas=(0.9,0.999) and epsilon=1e-08 |
lr_scheduler_type |
linear |
num_epochs |
70 |
训练结果
训练损失 | 轮数 | 步数 | 验证损失 | Rouge1 | Rouge2 | Rougel | Rougelsum | 生成长度 |
---|---|---|---|---|---|---|---|---|
5.2487 | 1.0 | 2007 | 5.0028 | 0.4671 | 0.1595 | 0.2994 | 0.2994 | 18.7618 |
5.217 | 2.0 | 4014 | 4.9802 | 0.4639 | 0.1569 | 0.2984 | 0.2983 | 18.7747 |
5.2191 | 3.0 | 6021 | 4.9685 | 0.4644 | 0.1594 | 0.2989 | 0.2989 | 18.7613 |
5.2254 | 4.0 | 8028 | 4.9477 | 0.4648 | 0.1586 | 0.2988 | 0.2987 | 18.7458 |
5.1735 | 5.0 | 10035 | 4.9366 | 0.4654 | 0.1593 | 0.2988 | 0.2987 | 18.761 |
5.1735 | 6.0 | 12042 | 4.9214 | 0.4676 | 0.1611 | 0.3004 | 0.3004 | 18.78 |
5.1653 | 7.0 | 14049 | 4.9095 | 0.4681 | 0.1616 | 0.3007 | 0.3007 | 18.7523 |
5.1154 | 8.0 | 16056 | 4.8971 | 0.4664 | 0.1598 | 0.3002 | 0.3001 | 18.7655 |
5.1232 | 9.0 | 18063 | 4.8882 | 0.4683 | 0.1612 | 0.3008 | 0.3008 | 18.761 |
5.0995 | 10.0 | 20070 | 4.8758 | 0.4709 | 0.1618 | 0.3021 | 0.302 | 18.7518 |
5.1012 | 11.0 | 22077 | 4.8689 | 0.4685 | 0.1616 | 0.3011 | 0.3009 | 18.7665 |
5.0916 | 12.0 | 24084 | 4.8486 | 0.4695 | 0.1623 | 0.3024 | 0.3023 | 18.7655 |
5.0559 | 13.0 | 26091 | 4.8409 | 0.4699 | 0.1631 | 0.3024 | 0.3023 | 18.7849 |
5.0633 | 14.0 | 28098 | 4.8326 | 0.4705 | 0.1613 | 0.302 | 0.302 | 18.7583 |
5.0335 | 15.0 | 30105 | 4.8243 | 0.4696 | 0.1612 | 0.3023 | 0.3022 | 18.7638 |
5.0271 | 16.0 | 32112 | 4.8046 | 0.4691 | 0.1618 | 0.3022 | 0.3022 | 18.7518 |
5.0045 | 17.0 | 34119 | 4.8060 | 0.4708 | 0.1629 | 0.3029 | 0.3028 | 18.7568 |
5.0072 | 18.0 | 36126 | 4.7945 | 0.4702 | 0.1633 | 0.3024 | 0.3023 | 18.776 |
4.9954 | 19.0 | 38133 | 4.7894 | 0.47 | 0.1639 | 0.3022 | 0.3021 | 18.7785 |
4.9994 | 20.0 | 40140 | 4.7773 | 0.4692 | 0.1625 | 0.3028 | 0.3027 | 18.7623 |
4.953 | 21.0 | 42147 | 4.7641 | 0.4682 | 0.162 | 0.3015 | 0.3014 | 18.757 |
4.9526 | 22.0 | 44154 | 4.7600 | 0.4703 | 0.1626 | 0.3023 | 0.3023 | 18.7625 |
4.9571 | 23.0 | 46161 | 4.7592 | 0.4698 | 0.1627 | 0.3025 | 0.3025 | 18.781 |
4.9324 | 24.0 | 48168 | 4.7511 | 0.4697 | 0.1631 | 0.3022 | 0.3021 | 18.769 |
4.9323 | 25.0 | 50175 | 4.7433 | 0.4723 | 0.1649 | 0.304 | 0.3039 | 18.7757 |
4.9381 | 26.0 | 52182 | 4.7378 | 0.4703 | 0.1629 | 0.3026 | 0.3026 | 18.7782 |
4.9288 | 27.0 | 54189 | 4.7454 | 0.4709 | 0.1627 | 0.3026 | 0.3026 | 18.7777 |
4.9131 | 28.0 | 56196 | 4.7222 | 0.471 | 0.1652 | 0.3037 | 0.3037 | 18.782 |
4.9005 | 29.0 | 58203 | 4.7241 | 0.4719 | 0.1638 | 0.3039 | 0.3038 | 18.778 |
4.9051 | 30.0 | 60210 | 4.7225 | 0.4715 | 0.1647 | 0.3037 | 0.3036 | 18.7668 |
4.8816 | 31.0 | 62217 | 4.7181 | 0.4701 | 0.1631 | 0.3029 | 0.3029 | 18.7416 |
4.8687 | 32.0 | 64224 | 4.7061 | 0.4705 | 0.1643 | 0.3032 | 0.3031 | 18.7625 |
4.8935 | 33.0 | 66231 | 4.7063 | 0.4697 | 0.1632 | 0.3028 | 0.3028 | 18.7458 |
4.88 | 34.0 | 68238 | 4.6984 | 0.471 | 0.164 | 0.3039 | 0.3039 | 18.7663 |
4.8473 | 35.0 | 70245 | 4.6934 | 0.4699 | 0.1636 | 0.3034 | 0.3033 | 18.7531 |
4.8613 | 36.0 | 72252 | 4.6863 | 0.4705 | 0.1631 | 0.303 | 0.303 | 18.7797 |
4.8491 | 37.0 | 74259 | 4.6847 | 0.4703 | 0.1638 | 0.3037 | 0.3037 | 18.78 |
4.8239 | 38.0 | 76266 | 4.6804 | 0.4707 | 0.1632 | 0.3032 | 0.3032 | 18.7802 |
4.8767 | 39.0 | 78273 | 4.6788 | 0.4703 | 0.1637 | 0.3027 | 0.3026 | 18.7446 |
4.8402 | 40.0 | 80280 | 4.6700 | 0.4699 | 0.1633 | 0.3028 | 0.3028 | 18.7516 |
4.8261 | 41.0 | 82287 | 4.6660 | 0.4699 | 0.1633 | 0.3029 | 0.3028 | 18.7369 |
4.8193 | 42.0 | 84294 | 4.6693 | 0.4711 | 0.1654 | 0.3039 | 0.3038 | 18.7421 |
4.8161 | 43.0 | 86301 | 4.6636 | 0.4707 | 0.1642 | 0.303 | 0.303 | 18.7595 |
4.832 | 44.0 | 88308 | 4.6619 | 0.4708 | 0.1646 | 0.3036 | 0.3035 | 18.7423 |
4.8304 | 45.0 | 90315 | 4.6575 | 0.4711 | 0.1651 | 0.3038 | 0.3037 | 18.7354 |
4.7958 | 46.0 | 92322 | 4.6543 | 0.4711 | 0.165 | 0.3032 | 0.3032 | 18.7189 |
4.804 | 47.0 | 94329 | 4.6541 | 0.4711 | 0.1656 | 0.3037 | 0.3036 | 18.7396 |
4.7968 | 48.0 | 96336 | 4.6495 | 0.4709 | 0.165 | 0.3034 | 0.3034 | 18.7411 |
4.7912 | 49.0 | 98343 | 4.6471 | 0.4718 | 0.1655 | 0.3041 | 0.3042 | 18.7361 |
4.7721 | 50.0 | 100350 | 4.6469 | 0.4723 | 0.1667 | 0.3047 | 0.3047 | 18.7309 |
4.7828 | 51.0 | 102357 | 4.6476 | 0.4712 | 0.1656 | 0.3044 | 0.3045 | 18.7446 |
4.7934 | 52.0 | 104364 | 4.6453 | 0.4707 | 0.1645 | 0.3035 | 0.3035 | 18.7329 |
4.7724 | 53.0 | 106371 | 4.6425 | 0.4715 | 0.1657 | 0.304 | 0.304 | 18.7403 |
4.7804 | 54.0 | 108378 | 4.6362 | 0.4711 | 0.1658 | 0.3041 | 0.3041 | 18.7488 |
4.792 | 55.0 | 110385 | 4.6363 | 0.4706 | 0.1653 | 0.3038 | 0.3038 | 18.7281 |
4.7528 | 56.0 | 112392 | 4.6357 | 0.4724 | 0.1667 | 0.3044 | 0.3044 | 18.7463 |
4.7849 | 57.0 | 114399 | 4.6346 | 0.472 | 0.1661 | 0.3041 | 0.304 | 18.7431 |
4.7618 | 58.0 | 116406 | 4.6332 | 0.472 | 0.167 | 0.3046 | 0.3046 | 18.7336 |
4.7841 | 59.0 | 118413 | 4.6287 | 0.4716 | 0.1664 | 0.3043 | 0.3043 | 18.7369 |
4.7764 | 60.0 | 120420 | 4.6316 | 0.473 | 0.1666 | 0.3048 | 0.3047 | 18.7548 |
4.7504 | 61.0 | 122427 | 4.6276 | 0.4721 | 0.1671 | 0.3043 | 0.3044 | 18.7371 |
4.7629 | 62.0 | 124434 | 4.6250 | 0.4726 | 0.167 | 0.3046 | 0.3046 | 18.76 |
4.7764 | 63.0 | 126441 | 4.6264 | 0.4725 | 0.1666 | 0.3044 | 0.3044 | 18.7446 |
4.7524 | 64.0 | 128448 | 4.6275 | 0.4719 | 0.166 | 0.3041 | 0.3041 | 18.7428 |
4.7641 | 65.0 | 130455 | 4.6288 | 0.4728 | 0.1669 | 0.3049 | 0.3049 | 18.7458 |
框架版本
- Transformers:4.33.2
- Pytorch:2.0.1+cu117
- Datasets:2.14.5
- Tokenizers:0.13.3
📄 许可证
本模型采用 CC BY 4.0 许可证。
Bart Large Cnn
MIT
基于英语语料预训练的BART模型,专门针对CNN每日邮报数据集进行微调,适用于文本摘要任务
文本生成 英语
B
facebook
3.8M
1,364
Parrot Paraphraser On T5
Parrot是一个基于T5的释义框架,专为加速训练自然语言理解(NLU)模型而设计,通过生成高质量释义实现数据增强。
文本生成
Transformers

P
prithivida
910.07k
152
Distilbart Cnn 12 6
Apache-2.0
DistilBART是BART模型的蒸馏版本,专门针对文本摘要任务进行了优化,在保持较高性能的同时显著提升了推理速度。
文本生成 英语
D
sshleifer
783.96k
278
T5 Base Summarization Claim Extractor
基于T5架构的模型,专门用于从摘要文本中提取原子声明,是摘要事实性评估流程的关键组件。
文本生成
Transformers 英语

T
Babelscape
666.36k
9
Unieval Sum
UniEval是一个统一的多维评估器,用于自然语言生成任务的自动评估,支持多个可解释维度的评估。
文本生成
Transformers

U
MingZhong
318.08k
3
Pegasus Paraphrase
Apache-2.0
基于PEGASUS架构微调的文本复述模型,能够生成语义相同但表达不同的句子。
文本生成
Transformers 英语

P
tuner007
209.03k
185
T5 Base Korean Summarization
这是一个基于T5架构的韩语文本摘要模型,专为韩语文本摘要任务设计,通过微调paust/pko-t5-base模型在多个韩语数据集上训练而成。
文本生成
Transformers 韩语

T
eenzeenee
148.32k
25
Pegasus Xsum
PEGASUS是一种基于Transformer的预训练模型,专门用于抽象文本摘要任务。
文本生成 英语
P
google
144.72k
198
Bart Large Cnn Samsum
MIT
基于BART-large架构的对话摘要模型,专为SAMSum语料库微调,适用于生成对话摘要。
文本生成
Transformers 英语

B
philschmid
141.28k
258
Kobart Summarization
MIT
基于KoBART架构的韩语文本摘要模型,能够生成韩语新闻文章的简洁摘要。
文本生成
Transformers 韩语

K
gogamza
119.18k
12
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98