Vlt5 Base Keywords

🚀 短文本关键词提取的T5模型

本项目的vlT5模型是一个基于编码器 - 解码器架构的关键词生成模型，它使用了Google提出的Transformer模块（https://huggingface.co/t5-base）。该模型在科学文章语料库上进行训练，能够根据文章摘要和标题的拼接内容预测一组给定的关键短语。它可以生成精确但并不总是完整的关键短语，仅基于摘要就能描述文章的内容。

✨ 主要特性

• 具有良好的可迁移性，适用于所有领域和类型的文本。
• 能够同时进行抽取式和抽象式的关键词生成。

📦 安装指南

文档未提及安装步骤，跳过此章节。

💻 使用示例

基础用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("Voicelab/vlt5-base-keywords")
tokenizer = T5Tokenizer.from_pretrained("Voicelab/vlt5-base-keywords")

task_prefix = "Keywords: "
inputs = [
    "Christina Katrakis, who spoke to the BBC from Vorokhta in western Ukraine, relays the account of one family, who say Russian soldiers shot at their vehicles while they were leaving their village near Chernobyl in northern Ukraine. She says the cars had white flags and signs saying they were carrying children.",
    "Decays the learning rate of each parameter group by gamma every step_size epochs. Notice that such decay can happen simultaneously with other changes to the learning rate from outside this scheduler. When last_epoch=-1, sets initial lr as lr.",
    "Hello, I'd like to order a pizza with salami topping.",
]

for sample in inputs:
    input_sequences = [task_prefix + sample]
    input_ids = tokenizer(
        input_sequences, return_tensors="pt", truncation=True
    ).input_ids
    output = model.generate(input_ids, no_repeat_ngram_size=3, num_beams=4)
    predicted = tokenizer.decode(output[0], skip_special_tokens=True)
    print(sample, "\n --->", predicted)

高级用法

文档未提及高级用法相关代码，跳过此部分。

📚 详细文档

模型概述

• 语言模型：t5-base
• 支持语言：波兰语（pl）、英语（en），对其他语言也有较好效果
• 训练数据：POSMAC
• 在线演示：访问 https://nlp-demo-1.voicelab.ai/ 查看更好的结果
• 相关论文：Keyword Extraction from Short Texts with a Text-To-Text Transfer Transformer, ACIIDS 2022

语料库

该模型在POSMAC语料库上进行训练。波兰开放科学元数据语料库（POSMAC）是在CURLICAT项目中汇编的216,214篇科学出版物摘要的集合。

分词器

与原始的plT5实现一样，训练数据集使用句子片段（sentencepiece）的一元模型（unigram model）进行子词分词，词汇量大小为50k个标记。

推理

实验结果表明，当设置 no_repeat_ngram_size=3, num_beams=4 时，模型能够达到最佳的生成效果。

实验结果

🔧 技术细节

文档未提及技术实现细节，跳过此章节。

📄 许可证

本项目采用CC BY 4.0许可证。

引用说明

如果您使用此模型，请引用以下论文： Pęzik, P., Mikołajczyk, A., Wawrzyński, A., Żarnecki, F., Nitoń, B., Ogrodniczuk, M. (2023). Transferable Keyword Extraction and Generation with Text-to-Text Language Models. In: Mikyška, J., de Mulatier, C., Paszynski, M., Krzhizhanovskaya, V.V., Dongarra, J.J., Sloot, P.M. (eds) Computational Science – ICCS 2023. ICCS 2023. Lecture Notes in Computer Science, vol 14074. Springer, Cham. https://doi.org/10.1007/978-3-031-36021-3_42

或者

Piotr Pęzik, Agnieszka Mikołajczyk-Bareła, Adam Wawrzyński, Bartłomiej Nitoń, Maciej Ogrodniczuk, Keyword Extraction from Short Texts with a Text-To-Text Transfer Transformer, ACIIDS 2022

作者信息

该模型由Voicelab.ai的NLP研究团队训练。 您可以 点击此处 与我们联系。