Rut5 Base Multitask

🚀 rut5-base-multitask 多任務模型

本項目是 google/mt5-base 的精簡版本，僅保留了部分俄語和英語的嵌入層。該模型在多種句子或短段落任務上進行了微調，可用於翻譯、釋義、文本填空等多種自然語言處理任務。

🚀 快速開始

安裝依賴

# !pip install transformers sentencepiece

加載模型和分詞器

import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer
tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-base-multitask")
model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-base-multitask")

定義生成函數

def generate(text, **kwargs):
    inputs = tokenizer(text, return_tensors='pt')
    with torch.no_grad():
        hypotheses = model.generate(**inputs, num_beams=5, **kwargs)
    return tokenizer.decode(hypotheses[0], skip_special_tokens=True)

✨ 主要特性

• 多語言支持：支持俄語和英語，可進行雙向翻譯。
• 多任務處理：可處理翻譯、釋義、填空、文本組裝、簡化、對話回覆生成、問答、提問生成和新聞標題生成等多種任務。
• 靈活調用：通過在輸入文本前添加任務名稱，使用 | 分隔，即可調用相應任務。

📦 安裝指南

運行以下命令安裝所需依賴：

!pip install transformers sentencepiece

💻 使用示例

基礎用法

# 翻譯任務（俄語到英語）
print(generate('translate ru-en | Каждый охотник желает знать, где сидит фазан.'))
# 輸出: Each hunter wants to know, where he is.

# 釋義任務
print(generate('paraphrase | Каждый охотник желает знать, где сидит фазан.', 
               encoder_no_repeat_ngram_size=1, repetition_penalty=0.5, no_repeat_ngram_size=1))
# 輸出: В любом случае каждый рыбак мечтает познакомиться со своей фермой

# 填空任務
print(generate('fill | Каждый охотник _3_, где сидит фазан.'))
# 輸出: смотрит на озеро

# 文本組裝任務
print(generate('assemble | охотник каждый знать фазан сидит'))
# 輸出: Каждый охотник знает, что фазан сидит.

# 文本簡化任務
print(generate('simplify | Местным продуктом-специалитетом с защищённым географическим наименованием по происхождению считается люнебургский степной барашек.', max_length=32))
# 輸出: Местным продуктом-специалитетом считается люнебургский степной барашек.

# 對話回覆生成任務（基於虛構場景）
print(generate('reply | Помогите мне закадрить девушку'))
# 輸出: Что я хочу?

# 對話回覆生成任務（基於在線論壇）
print(generate('answer | Помогите мне закадрить девушку'))
# 輸出: я хочу познакомиться с девушкой!!!!!!!!

# 問答任務
print(generate("comprehend | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, "
    "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо. Вопрос: откуда приехал Морган?"))
# 輸出: из Австралии

# 提問生成任務
print(generate("ask | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, "
    "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32))
# 輸出: Что разворачивается на фоне земельного конфликта между владельцами овец и ранчеро?

# 新聞標題生成任務
print(generate("headline | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, "
    "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32))
# 輸出: На фоне земельного конфликта разворачивается история любви овцевода Моргана Лейна и Марии Синглетон

高級用法

建議根據具體任務對模型進行微調，以獲得更好的性能。

📚 詳細文檔

更多詳細信息請參考俄語文章：https://habr.com/ru/post/581932/

📄 許可證

本項目採用 MIT 許可證。