Rut5 Base Summ

🚀 rut5-base-summ

该模型是基于 ai-forever/ruT5-base 微调而来，主要用于文本和对话摘要生成。它使用了多个数据集进行训练，在摘要任务上有一定的表现。

🚀 快速开始

摘要生成管道

from transformers import pipeline

pipe = pipeline('summarization', model='d0rj/rut5-base-summ')
pipe(text)

文本到文本生成

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('d0rj/rut5-base-summ')
model = T5ForConditionalGeneration.from_pretrained('d0rj/rut5-base-summ').eval()

input_ids = tokenizer(text, return_tensors='pt').input_ids
outputs = model.generate(input_ids)
summary = tokenizer.decode(outputs[0], skip_special_tokens=True)

✨ 主要特性

• 基于 ai-forever/ruT5-base 进行微调，适用于文本和对话摘要生成。
• 使用多个数据集进行训练，包括 d0rj/samsum-ru、IlyaGusev/gazeta 等。

📦 安装指南

文档未提及安装步骤，可参考 transformers 库的官方安装指南进行安装。

💻 使用示例

基础用法

from transformers import pipeline

pipe = pipeline('summarization', model='d0rj/rut5-base-summ')
pipe(text)

高级用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('d0rj/rut5-base-summ')
model = T5ForConditionalGeneration.from_pretrained('d0rj/rut5-base-summ').eval()

input_ids = tokenizer(text, return_tensors='pt').input_ids
outputs = model.generate(input_ids)
summary = tokenizer.decode(outputs[0], skip_special_tokens=True)

📚 详细文档

模型

微调了 ai-forever/ruT5-base 用于文本和对话摘要生成。

数据

• d0rj/samsum-ru
• IlyaGusev/gazeta
• zjkarina/matreshka
• rcp-meetings/rudialogsum_v2
• GEM/wiki_lingua
• mlsum

所有的 'train' 子集被拼接在一起，并使用种子 1000 - 7 进行打乱。训练子集共有 155678 行。

指标

在拼接后的 'validation' 子集的 10%（即 1458 行）上进行评估。 查看 WandB 日志。 报告正在编写中（REPORT WIP）。

注意事项

⚠️ 重要提示

调度器、优化器和训练器的状态已保存到该仓库中，因此你可以使用这些状态，结合现有的梯度，用自己的数据继续进行微调。

🔧 技术细节

文档未提供详细的技术实现细节。

📄 许可证

文档未提及许可证信息。