T5 Base Standard Bahasa Cased

🚀 t5-base-standard-bahasa-cased

这是一个为马来语预训练的T5基础标准语言模型，能够有效处理多种与马来语相关的自然语言处理任务，为马来语的文本处理提供强大支持。

🚀 快速开始

该模型可直接用于处理马来语的多种自然语言处理任务，如问答、摘要生成、翻译等。你可以根据以下支持的前缀来使用模型完成不同的任务。

✨ 主要特性

• 多任务预训练：模型在多个任务上进行了预训练，包括语言掩码任务、新闻标题预测、下一句预测、翻译问答、文本相似度任务、英马和马英翻译、摘要生成、知识图谱三元组生成以及释义等。
• 可复现性：预训练步骤和训练细节均可在相关的GitHub仓库中复现。

📦 安装指南

暂未提供安装相关内容，若有需要可参考原模型仓库。

💻 使用示例

基础用法

以下是使用支持前缀调用模型的示例，假设你已经正确加载了模型：

# 问答任务
input_text = "soalan: 马来语中'你好'怎么说？"
# 调用模型进行推理
output = model.generate(input_text)

# 摘要生成任务
input_text = "ringkasan: 这里是一段很长的马来语文章内容..."
output = model.generate(input_text)

高级用法

# 对于更复杂的任务，如多轮问答或长文本摘要等，可以结合上下文信息进行处理
# 例如多轮问答，将上一轮的问答结果作为新的上下文输入
previous_answer = "上一轮的回答内容"
new_question = "新的问题"
input_text = f"soalan: {previous_answer} {new_question}"
output = model.generate(input_text)

📚 详细文档

预训练语料库

t5-base-standard-bahasa-cased 模型在多个任务上进行了预训练，以下是训练任务列表：

1. 在马来语新闻、马来语维基百科、马来语 Academia.edu、马来语议会文本和翻译后的 The Pile 上进行语言掩码任务。
2. 在马来语新闻上进行新闻标题预测。
3. 在马来语新闻、马来语维基百科、马来语 Academia.edu、马来语议会文本和翻译后的 The Pile 上进行下一句预测。
4. 翻译后的自然问答。
5. 在翻译后的 SNLI 和翻译后的 MNLI 上进行文本相似度任务。
6. 英马翻译。
7. 马英翻译。
8. 摘要生成。
9. 知识图谱三元组生成。
10. 释义。

预训练准备步骤可在 https://github.com/huseinzol05/malaya/tree/master/pretrained-model/t5/prepare 复现。

预训练细节

• 该模型使用 Google T5 仓库（https://github.com/google-research/text-to-text-transfer-transformer ）在 v3 - 8 TPU 上进行训练。
• 所有步骤可从这里复现：https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/t5

支持的前缀

1. soalan: {string}，使用自然问答进行训练。
2. ringkasan: {string}，用于摘要生成。
3. tajuk: {string}，用于生成摘要标题。
4. parafrasa: {string}，用于摘要释义。
5. terjemah Inggeris ke Melayu: {string}，用于英马翻译。
6. terjemah Melayu ke Inggeris: {string}，用于马英翻译。
7. grafik pengetahuan: {string}，用于将马来语文本转换为英文知识图谱三元组格式。
8. ayat1: {string1} ayat2: {string2}，用于语义相似度计算。

🔧 技术细节

• 训练工具：使用 Google T5 仓库（https://github.com/google-research/text-to-text-transfer-transformer ）进行训练。
• 训练设备：在 v3 - 8 TPU 上进行训练，确保了训练的高效性和模型的性能。
• 可复现性：所有训练步骤都可以在指定的 GitHub 仓库中找到，方便研究人员和开发者进行复现和进一步的研究。