T5 Base Standard Bahasa Cased

🚀 t5-base-standard-bahasa-cased

這是一個為馬來語預訓練的T5基礎標準語言模型，能夠有效處理多種與馬來語相關的自然語言處理任務，為馬來語的文本處理提供強大支持。

🚀 快速開始

該模型可直接用於處理馬來語的多種自然語言處理任務，如問答、摘要生成、翻譯等。你可以根據以下支持的前綴來使用模型完成不同的任務。

✨ 主要特性

• 多任務預訓練：模型在多個任務上進行了預訓練，包括語言掩碼任務、新聞標題預測、下一句預測、翻譯問答、文本相似度任務、英馬和馬英翻譯、摘要生成、知識圖譜三元組生成以及釋義等。
• 可復現性：預訓練步驟和訓練細節均可在相關的GitHub倉庫中復現。

📦 安裝指南

暫未提供安裝相關內容，若有需要可參考原模型倉庫。

💻 使用示例

基礎用法

以下是使用支持前綴調用模型的示例，假設你已經正確加載了模型：

# 問答任務
input_text = "soalan: 馬來語中'你好'怎麼說？"
# 調用模型進行推理
output = model.generate(input_text)

# 摘要生成任務
input_text = "ringkasan: 這裡是一段很長的馬來語文章內容..."
output = model.generate(input_text)

高級用法

# 對於更復雜的任務，如多輪問答或長文本摘要等，可以結合上下文信息進行處理
# 例如多輪問答，將上一輪的問答結果作為新的上下文輸入
previous_answer = "上一輪的回答內容"
new_question = "新的問題"
input_text = f"soalan: {previous_answer} {new_question}"
output = model.generate(input_text)

📚 詳細文檔

預訓練語料庫

t5-base-standard-bahasa-cased 模型在多個任務上進行了預訓練，以下是訓練任務列表：

1. 在馬來語新聞、馬來語維基百科、馬來語 Academia.edu、馬來語議會文本和翻譯後的 The Pile 上進行語言掩碼任務。
2. 在馬來語新聞上進行新聞標題預測。
3. 在馬來語新聞、馬來語維基百科、馬來語 Academia.edu、馬來語議會文本和翻譯後的 The Pile 上進行下一句預測。
4. 翻譯後的自然問答。
5. 在翻譯後的 SNLI 和翻譯後的 MNLI 上進行文本相似度任務。
6. 英馬翻譯。
7. 馬英翻譯。
8. 摘要生成。
9. 知識圖譜三元組生成。
10. 釋義。

預訓練準備步驟可在 https://github.com/huseinzol05/malaya/tree/master/pretrained-model/t5/prepare 復現。

預訓練細節

• 該模型使用 Google T5 倉庫（https://github.com/google-research/text-to-text-transfer-transformer ）在 v3 - 8 TPU 上進行訓練。
• 所有步驟可從這裡復現：https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/t5

支持的前綴

1. soalan: {string}，使用自然問答進行訓練。
2. ringkasan: {string}，用於摘要生成。
3. tajuk: {string}，用於生成摘要標題。
4. parafrasa: {string}，用於摘要釋義。
5. terjemah Inggeris ke Melayu: {string}，用於英馬翻譯。
6. terjemah Melayu ke Inggeris: {string}，用於馬英翻譯。
7. grafik pengetahuan: {string}，用於將馬來語文本轉換為英文知識圖譜三元組格式。
8. ayat1: {string1} ayat2: {string2}，用於語義相似度計算。

🔧 技術細節

• 訓練工具：使用 Google T5 倉庫（https://github.com/google-research/text-to-text-transfer-transformer ）進行訓練。
• 訓練設備：在 v3 - 8 TPU 上進行訓練，確保了訓練的高效性和模型的性能。
• 可復現性：所有訓練步驟都可以在指定的 GitHub 倉庫中找到，方便研究人員和開發者進行復現和進一步的研究。