T5 Small Wikilingua Vietnamese

🚀 Vietnamese Pretrain Model for Abstractive Text Summarization Task

State-of-the-art lightweight pretrained Transformer-based encoder-decoder model for Vietnamese, designed to tackle the abstractive text summarization task.

Information Table

Inference Parameters

The inference parameters are set as follows:

• max_length: 256

Widget Example

The widget provides the following text for testing:

• "Hoa quả và rau thường rẻ hơn khi vào mùa. Thường thì các cửa hàng thực phẩm sẽ giảm giá cho các mặt hàng nông sản đang vào mùa vì họ biết khách hàng luôn chờ đợi những loại nào vào thời gian nào trong năm. Hơn nữa rau quả đúng mùa bao giờ cũng ngon hơn."

🚀 Quick Start

This section will guide you on how to use the model for abstractive text summarization.

💻 Usage Examples

Basic Usage

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("minhtoan/t5-small-wikilingua_vietnamese")  
model = AutoModelForSeq2SeqLM.from_pretrained("minhtoan/t5-small-wikilingua_vietnamese")
model.cuda()
src = 'Là Thủ tướng khi lạm phát gần 70%, ngân sách thâm hụt, thất nghiệp nhiều, nhưng với tư duy cởi mở, sẵn sàng "không làm được thì từ chức", ông Võ Văn Kiệt đã mang đến nhiều cải cách kinh tế cho Việt Nam. Trong trí nhớ của Chuyên gia kinh tế Phạm Chi Lan, cố Thủ tướng Võ Văn Kiệt là một lãnh đạo có tư duy kinh tế thị trường, chịu khó học hỏi, biết lắng nghe. "Những gì ông thấy tốt cho người dân thì sẽ tiếp thu rất nhanh", bà Lan nói với VnExpress. Còn PGS. TS Trần Minh Trưởng, Viện trưởng Viện Hồ Chí Minh và các lãnh tụ của Đảng (Học viện Chính trị - Hành chính quốc gia) nhận định về ông Võ Văn Kiệt trên Báo Nhân dân như "một trong những người đi đầu trong công cuộc đổi mới ở Việt Nam kể từ năm 1986", "tổng công trình sư nhiều dự án táo bạo". Nhậm chức Thủ tướng giữa muôn vàn khó khăn Năm 1985, sau một thập niên theo mô hình bao cấp, kinh tế Việt Nam ngày càng phụ thuộc vào viện trợ và vay nợ nước ngoài, lên đến 8,5 tỷ ruble (khoảng 3.500 tỷ đồng) và 1,9 tỷ USD (gần 45.600 tỷ đồng). Cứ thêm một năm, mô hình càng trục trặc và lỗi thời. Ngân sách bị thâm hụt và phải bù đắp bằng việc in tiền để chi tiêu. Việc lặp lại sai lầm "giá - lương - tiền" khiến lạm phát phi mã lên gần 775% vào năm 1986 và vẫn ở mức hai chữ số những năm 1990, 1991. Trong khi đó, tỷ lệ thất nghiệp lên đến 12,7%. Những chỉ số đáng báo động đã góp phần thức tỉnh tư duy các nhà lãnh đạo, dẫn đến quyết định đổi mới tại Đại hội VI (tháng 12/1986). Trong đó, đổi mới về kinh tế là một trong những nhiệm vụ trọng tâm, nhằm đưa đất nước thoát khỏi nguy khó. Ông Võ Văn Kiệt, lúc ấy đang là Phó chủ tịch Hội đồng Bộ trưởng, trở thành một lãnh đạo chủ chốt kiến tạo nên công cuộc này.'
tokenized_text = tokenizer.encode(src, return_tensors="pt").cuda()
model.eval()
summary_ids = model.generate(
                    tokenized_text,
                    max_length=256, 
                    num_beams=5,
                    repetition_penalty=2.5, 
                    length_penalty=1.0, 
                    early_stopping=True
                )
output = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(output)

Output Example

output: Ông Võ Văn Kiệt, lúc ấy đang là Phó chủ tịch Hội đồng Bộ trưởng, trở thành một lãnh đạo chủ chốt kiến tạo nên công cuộc đổi mới ở Việt Nam kể từ năm 1986. Trong khi đó, ông Võ Văn Kiệt đã mang đến nhiều cải cách kinh tế cho Việt Nam.

📄 License

This project is licensed under the MIT license.