Envit5 Base

🚀 EnViT5-base

EnViT5-base 是一个基于 Transformer 的预训练编码器 - 解码器模型，处于当前先进水平，可用于越南语和英语处理，该模型在 MTet 论文 中被使用。它能解决越南语和英语之间的多种自然语言处理任务，如摘要生成、翻译和问答等，为相关领域的研究和应用提供了强大的支持。

🚀 快速开始

如需更多详细信息，请查看 我们的 Github 仓库。

微调示例可在此处找到。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("VietAI/envit5-base")  
model = AutoModelForSeq2SeqLM.from_pretrained("VietAI/envit5-base")
model.cuda()

# need prefix for en: and vi: sentences
inputs = [
    "vi: VietAI là tổ chức phi lợi nhuận với sứ mệnh ươm mầm tài năng về trí tuệ nhân tạo và xây dựng một cộng đồng các chuyên gia trong lĩnh vực trí tuệ nhân tạo đẳng cấp quốc tế tại Việt Nam.",
    "vi: Theo báo cáo mới nhất của Linkedin về danh sách việc làm triển vọng với mức lương hấp dẫn năm 2020, các chức danh công việc liên quan đến AI như Chuyên gia AI (Artificial Intelligence Specialist), Kỹ sư ML (Machine Learning Engineer) đều xếp thứ hạng cao.",
    "en: Our teams aspire to make discoveries that impact everyone, and core to our approach is sharing our research and tools to fuel progress in the field.",
    "en: We're on a journey to advance and democratize artificial intelligence through open source and open science."
    ]

outputs = model.generate(tokenizer(inputs, return_tensors="pt", padding=True).input_ids.to('cuda'), max_length=512)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

📚 详细文档

数据集

标签

该模型可用于以下任务：

• 摘要生成
• 翻译
• 问答

📄 许可证

本项目采用 MIT 许可证。

📚 引用

@misc{mtet,
  doi = {10.48550/ARXIV.2210.05610},
  url = {https://arxiv.org/abs/2210.05610},
  author = {Ngo, Chinh and Trinh, Trieu H. and Phan, Long and Tran, Hieu and Dang, Tai and Nguyen, Hieu and Nguyen, Minh and Luong, Minh-Thang},
  keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {MTet: Multi-domain Translation for English and Vietnamese},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution 4.0 International}
}