FRED T5 Summarizer

🚀 FRED - T5 1.7B 文本摘要生成器

FRED - T5 1.7B 文本摘要生成器是一款专注于俄语文本摘要生成的模型，由 SberDevices 训练。它基于公开的俄语摘要数据集 RussianNLP/Mixed - Summarization - Dataset 进行训练，并使用前缀标记 '<LM>'，能够高效且准确地对俄语文本进行摘要提取。

🚀 快速开始

本模型可借助 transformers 库轻松使用，以下是具体的使用步骤。

💻 使用示例

基础用法

import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration 
tokenizer = GPT2Tokenizer.from_pretrained('RussianNLP/FRED-T5-Summarizer',eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('RussianNLP/FRED-T5-Summarizer')
device='cuda'
model.to(device)

input_text='<LM> Сократи текст.\n В деревне, затерянной среди зелёных холмов, жил старик по имени Иван. Его жизнь протекала медленно и размеренно. Каждое утро Иван выходил на поля, чтобы заботиться о своём скромном участке земли. Он выращивал картофель и морковь, которые были его главным источником пищи. Вечера старик проводил у камина, читая книги и вспоминая молодость. Жизнь в деревне была тяжёлая, но Иван находил в ней простые радости.'
input_ids=torch.tensor([tokenizer.encode(input_text)]).to(device)
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,
                    num_beams=5,
                    min_new_tokens=17,
                    max_new_tokens=200,
                    do_sample=True,
                    no_repeat_ngram_size=4,
                    top_p=0.9)
print(tokenizer.decode(outputs[0][1:]))

# print result: Старик Иван живёт размеренной жизнью в деревне, выращивая овощи и находя радость в простых вещах.

📄 许可证

本项目采用 MIT 许可证。

👥 作者

• Sber Devices:
  • Albina Akhmetgareeva
  • Ilia Kuleshov
  • Vlad Leschuk
  • Alexander Abramov
  • Alena Fenogenova

📚 引用信息

如果您使用了本模型，请按照以下格式引用：

@misc{akhmetgareeva2024summary,
      title={Towards Russian Summarization: can architecture solve data limitations problems?}, 
      author={Albina Akhmetgareeva and Ilia Kuleshov and Vlad Leschuk and Alexander Abramov and Alena Fenogenova},
      year={2024},
}