🚀 FRED - T5 1.7B 文本摘要生成器
FRED - T5 1.7B 文本摘要生成器是一款專注於俄語文本摘要生成的模型,由 SberDevices 訓練。它基於公開的俄語摘要數據集 RussianNLP/Mixed - Summarization - Dataset 進行訓練,並使用前綴標記 '<LM>',能夠高效且準確地對俄語文本進行摘要提取。
🚀 快速開始
本模型可藉助 transformers
庫輕鬆使用,以下是具體的使用步驟。
💻 使用示例
基礎用法
import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration
tokenizer = GPT2Tokenizer.from_pretrained('RussianNLP/FRED-T5-Summarizer',eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('RussianNLP/FRED-T5-Summarizer')
device='cuda'
model.to(device)
input_text='<LM> Сократи текст.\n В деревне, затерянной среди зелёных холмов, жил старик по имени Иван. Его жизнь протекала медленно и размеренно. Каждое утро Иван выходил на поля, чтобы заботиться о своём скромном участке земли. Он выращивал картофель и морковь, которые были его главным источником пищи. Вечера старик проводил у камина, читая книги и вспоминая молодость. Жизнь в деревне была тяжёлая, но Иван находил в ней простые радости.'
input_ids=torch.tensor([tokenizer.encode(input_text)]).to(device)
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,
num_beams=5,
min_new_tokens=17,
max_new_tokens=200,
do_sample=True,
no_repeat_ngram_size=4,
top_p=0.9)
print(tokenizer.decode(outputs[0][1:]))
📄 許可證
本項目採用 MIT 許可證。
👥 作者
- Sber Devices:
- Albina Akhmetgareeva
- Ilia Kuleshov
- Vlad Leschuk
- Alexander Abramov
- Alena Fenogenova
📚 引用信息
如果您使用了本模型,請按照以下格式引用:
@misc{akhmetgareeva2024summary,
title={Towards Russian Summarization: can architecture solve data limitations problems?},
author={Albina Akhmetgareeva and Ilia Kuleshov and Vlad Leschuk and Alexander Abramov and Alena Fenogenova},
year={2024},
}