T5 Vietnamese Summarization

🚀 t5-vietnamese-summarization

This model is a fine - tuned Vietnamese summarization model. It aims to provide efficient text summarization capabilities, helping users quickly extract key information from long texts.

📚 Documentation

Model Overview

This model is a fine - tuned version of [pengold/t5 - vietnamese - summarization](https://huggingface.co/pengold/t5 - vietnamese - summarization) on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 4.6288
• Rouge1: 0.4728
• Rouge2: 0.1669
• Rougel: 0.3049
• Rougelsum: 0.3049
• Gen Len: 18.7458

Intended Uses & Limitations

More information needed

Training and Evaluation Data

More information needed

Training Procedure

Training Hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e - 05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon = 1e - 08
• lr_scheduler_type: linear
• num_epochs: 70

Training Results

Framework Versions

• Transformers 4.33.2
• Pytorch 2.0.1+cu117
• Datasets 2.14.5
• Tokenizers 0.13.3

📄 License

This model is licensed under CC - BY - 4.0.

💻 Usage Examples

Basic Usage

Here are some examples of using this model for text summarization:

Example 1

summarize: Thảo luận phiên chuyên đề 2 về năng suất lao động tại Diễn đàn
Kinh tế - Xã hội 2023 ngày 19/9, Chuyên gia Kinh tế quốc tế Jonathan Pincus
(Tổ chức phát triển Liên hợp quốc tại Việt Nam) nói việc tăng năng suất lao
động cần nhìn nhận trong quá trình dài hơi thay vì trong giai đoạn ngắn. Rất
khó để một quốc gia có thể tăng trưởng năng suất nhanh trong một giai đoạn
dài, đó chính là bẫy năng suất trung bình, ông Pincus đúc rút, gọi đây là
mối đe dọa lớn.

Example 2

summarize: Đây là nỗ lực của chính phủ nhằm giảm đi cơn sốt trên
thị trường chứng khoán. Quyết định này có tác động ngay lập tức.
Chỉ số chính của thị trường chứng khoán Thượng Hải khi đóng cửa
giảm 281.8 điểm, ở mức 4053.1. Một số phân tích gia nói việc cổ
phiếu sụt giá cũng chỉ mang tính tạm thời mà thôi. Ngân hàng Thế
giới giờ đây dự đoán nền kinh tế Trung Quốc sẽ tăng 10.4% trong năm
này. Lúc trước, Ngân hàng Thế giới dự đoán kinh tế Trung Quốc sẽ
tăng 9.6% trong năm 2007. Với việc Bắc Kinh đưa ra hành động nhằm
giảm nhiệt thị trường chứng khoán vào hôm thứ Tư, thuế đối với
cổ phiếu giao dịch giờ đây tăng từ 0.1% lên 0.3%. Tính đến phiên
đóng cửa vào hôm thứ Ba, chỉ số cổ phiếu Thượng Hải đã tăng 62%
trong năm nay, và có giá trị tăng gấp bốn lần kể từ đầu năm 2006.
Ông Thomas Gruener từ Landesbank Berlin nói: “Hành động này có thể
tạo ra việc điều chỉnh giá nhưng nhìn chung chúng tôi không cho là
xu hướng sẽ thay đổi”. Tuy nhiên, việc cổ phiếu Thượng Hải sụt giá
có thể sẽ tác động tới tâm lý của các thị trường chứng khoán
châu Âu. Thế nên các chỉ số chứng khoán tại châu Âu khi mở cửa hôm
thứ Tư đều hạ.

Advanced Usage

The inference parameters are as follows:

parameters:
    min_length: 5
    max_length: 150

These parameters can be adjusted according to specific requirements to achieve better summarization results.