Rut5 Base Multitask

🚀 rut5-base-multitask 多任务模型

本项目是 google/mt5-base 的精简版本，仅保留了部分俄语和英语的嵌入层。该模型在多种句子或短段落任务上进行了微调，可用于翻译、释义、文本填空等多种自然语言处理任务。

🚀 快速开始

安装依赖

# !pip install transformers sentencepiece

加载模型和分词器

import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer
tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-base-multitask")
model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-base-multitask")

定义生成函数

def generate(text, **kwargs):
    inputs = tokenizer(text, return_tensors='pt')
    with torch.no_grad():
        hypotheses = model.generate(**inputs, num_beams=5, **kwargs)
    return tokenizer.decode(hypotheses[0], skip_special_tokens=True)

✨ 主要特性

• 多语言支持：支持俄语和英语，可进行双向翻译。
• 多任务处理：可处理翻译、释义、填空、文本组装、简化、对话回复生成、问答、提问生成和新闻标题生成等多种任务。
• 灵活调用：通过在输入文本前添加任务名称，使用 | 分隔，即可调用相应任务。

📦 安装指南

运行以下命令安装所需依赖：

!pip install transformers sentencepiece

💻 使用示例

基础用法

# 翻译任务（俄语到英语）
print(generate('translate ru-en | Каждый охотник желает знать, где сидит фазан.'))
# 输出: Each hunter wants to know, where he is.

# 释义任务
print(generate('paraphrase | Каждый охотник желает знать, где сидит фазан.', 
               encoder_no_repeat_ngram_size=1, repetition_penalty=0.5, no_repeat_ngram_size=1))
# 输出: В любом случае каждый рыбак мечтает познакомиться со своей фермой

# 填空任务
print(generate('fill | Каждый охотник _3_, где сидит фазан.'))
# 输出: смотрит на озеро

# 文本组装任务
print(generate('assemble | охотник каждый знать фазан сидит'))
# 输出: Каждый охотник знает, что фазан сидит.

# 文本简化任务
print(generate('simplify | Местным продуктом-специалитетом с защищённым географическим наименованием по происхождению считается люнебургский степной барашек.', max_length=32))
# 输出: Местным продуктом-специалитетом считается люнебургский степной барашек.

# 对话回复生成任务（基于虚构场景）
print(generate('reply | Помогите мне закадрить девушку'))
# 输出: Что я хочу?

# 对话回复生成任务（基于在线论坛）
print(generate('answer | Помогите мне закадрить девушку'))
# 输出: я хочу познакомиться с девушкой!!!!!!!!

# 问答任务
print(generate("comprehend | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, "
    "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо. Вопрос: откуда приехал Морган?"))
# 输出: из Австралии

# 提问生成任务
print(generate("ask | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, "
    "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32))
# 输出: Что разворачивается на фоне земельного конфликта между владельцами овец и ранчеро?

# 新闻标题生成任务
print(generate("headline | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, "
    "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32))
# 输出: На фоне земельного конфликта разворачивается история любви овцевода Моргана Лейна и Марии Синглетон

高级用法

建议根据具体任务对模型进行微调，以获得更好的性能。

📚 详细文档

更多详细信息请参考俄语文章：https://habr.com/ru/post/581932/

📄 许可证

本项目采用 MIT 许可证。