FRED T5 Large Instruct V0.1

🚀 FRED-T5-large-instruct-v0.1

FRED-T5-large-instruct-v0.1 是由 bond005 訓練的模型，可用於自動編輯文本並生成俄語問題的答案。該模型能夠解決以下任務：

🚀 快速開始

此模型可解決多種文本處理任務，涵蓋語音識別糾錯、文本摘要、文本分段、文本簡化、命名實體識別以及回答任意問題等。以下是各任務的使用說明和示例代碼。

✨ 主要特性

• 多任務處理：能夠處理語音識別糾錯、文本摘要、文本分段、文本簡化、命名實體識別以及回答任意問題等多種任務。
• 俄語支持：主要針對俄語文本進行訓練，能夠理解和處理標準俄語。

📦 安裝指南

此部分原文檔未提供具體安裝命令，故跳過。

💻 使用示例

基礎用法

以下是各任務的使用示例代碼：

ASR 糾錯

from typing import List

from transformers import T5ForConditionalGeneration
from transformers import GenerationConfig
from transformers import GPT2Tokenizer
import torch


def fix_recognition_error(texts: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
                          model: T5ForConditionalGeneration) -> List[str]:
    nonempty_texts = []
    for cur in texts:
        if len(cur.strip()) > 3:
            nonempty_texts.append(cur.strip())
    if len(nonempty_texts) == 0:
        return texts
    x = tokenizer(nonempty_texts, return_tensors='pt', padding=True).to(model.device)
    max_size = int(x.input_ids.shape[1] * 2.0 + 10)
    out = model.generate(**x, generation_config=config, max_length=max_size)
    results_for_nonempty_texts = [
        ' '.join(tokenizer.decode(cur, skip_special_tokens=True).strip().split()) for cur in out
    ]
    united_results = []
    idx = 0
    for cur in texts:
        if len(cur.strip()) > 3:
            united_results.append(results_for_nonempty_texts[idx])
            idx += 1
        else:
            united_results.append(cur.strip())
    return united_results


ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
if torch.cuda.is_available():
    ru_llm_model = ru_llm_model.cuda()

asr_correction_example = \
    'Исправь, пожалуйста, ошибки распознавания речи в следующем тексте. ' \
    'краеугольным камнем любышь алгоритных машиного обучения является преждес его ' \
    'обобщающая способности тогда мы обучаем некоторую модель у нас есть обучающая ' \
    'выборка унаситькюмся ошибки и наша задачи сводится вообщем такомптиминационной ' \
    'задачи мы минимизируем в функцию ошибки по параметрам нашей модели на обучающие ' \
    'выбрать но на самом деле хотим там и не этого мы не обучающую ошибку хотим ' \
    'минимизировать'

output = fix_recognition_error([asr_correction_example], ru_llm_tokenizer,
                               ru_llm_config, ru_llm_model)[0]
print(output)

Краеугольным камнем любого алгоритма машинного обучения является прежде всего обобщающая способность. Тогда мы обучаем некоторую модель, у нас есть обучающая выборка, у нас есть коэффициенты ошибки, и наша задача сводится, в общем-то, к мотивационной задаче: мы минимизируем функцию ошибки по параметрам нашей модели, на обучающей выборке, но на самом деле хотим там и не этого. Мы не обучающую ошибку хотим минимизировать.

文本摘要

from typing import List

from transformers import T5ForConditionalGeneration
from transformers import GenerationConfig
from transformers import GPT2Tokenizer
import torch

def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
                    model: T5ForConditionalGeneration) -> List[str]:
    nonempty_answers = []
    for cur in answers:
        if len(cur.strip()) > 0:
            nonempty_answers.append(cur)
    if len(nonempty_answers) == 0:
        return ['' for _ in range(len(answers))]
    x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
    out = model.generate(**x, generation_config=config)
    questions_for_nonempty_texts = [
        tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
    ]
    united_questions = []
    idx = 0
    for cur in answers:
        if len(cur.strip()) > 0:
            united_questions.append(questions_for_nonempty_texts[idx])
            idx += 1
        else:
            united_questions.append('')
    return united_questions


ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
if torch.cuda.is_available():
    ru_llm_model = ru_llm_model.cuda()

summarization_example = \
    'Выполни саммаризацию и выдели, пожалуйста, основную мысль следующего текста. ' \
    'В данной работе проводится сравнение предварительного обучения трансформера на ' \
    'текстах естественного языка и на предложениях синтетического псевдоязыка. ' \
    'Искусственные тексты были автоматически сгенерированы по написанным нами правилам ' \
    'в контекстно-свободной грамматике. Результаты дообучения на выполнение заданий ' \
    'проекта RussianSuperGLUE статистически достоверно показали, что модели имеют ' \
    'одинаковые оценки, т.е. можно считать, что использование искусственных данных ' \
    'дает преимущество для “безопасности” искусственного интеллекта за счет ' \
    'возможности полностью контролировать состав выборки. Также мы можем говорить ' \
    'о том, что на этапе предобучения модели типа RoBERTa достаточно научиться ' \
    'распознавать только синтаксические и морфологические закономерности языка, ' \
    'которые могут быть успешно созданы довольно таким простым способом, как ' \
    'контекстно-свободная грамматика.'

output = generate_answer([summarization_example], ru_llm_tokenizer,
                         ru_llm_config, ru_llm_model)[0]
print(output)

В работе сравнивается предварительное обучение трансформера на текстах естественного языка и на предложениях синтетического псевдоязыка. Результаты дообучения на выполнение заданий проекта RussianSuperGLUE статистически достоверно показали, что модели имеют одинаковые оценки. Использование искусственных данных дает преимущество для безопасности искусственного интеллекта за счет возможности полностью контролировать состав выборки.

文本分段

from typing import List

from transformers import T5ForConditionalGeneration
from transformers import GenerationConfig
from transformers import GPT2Tokenizer
import torch

def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
                    model: T5ForConditionalGeneration) -> List[str]:
    nonempty_answers = []
    for cur in answers:
        if len(cur.strip()) > 0:
            nonempty_answers.append(cur)
    if len(nonempty_answers) == 0:
        return ['' for _ in range(len(answers))]
    x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
    out = model.generate(**x, generation_config=config)
    questions_for_nonempty_texts = [
        tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
    ]
    united_questions = []
    idx = 0
    for cur in answers:
        if len(cur.strip()) > 0:
            united_questions.append(questions_for_nonempty_texts[idx])
            idx += 1
        else:
            united_questions.append('')
    return united_questions


ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
if torch.cuda.is_available():
    ru_llm_model = ru_llm_model.cuda()

segmentation_example = \
    'Разбей, пожалуйста, следующий текст на абзацы. Глубокие нейронные сети за ' \
    'последнее время стали наиболее популярным инструментом для решения большинства ' \
    'задач искусственного интеллекта и особенно задач анализа и генерации текстов на ' \
    'естественном языке, относящихся к т.н. “разговорному искусственному интеллекту”. ' \
    'Это произошло по двум причинам: 1. Нейронная сеть строит обучаемую иерархию ' \
    'представлений. 2. Эта иерархия представлений является переиспользуемой между ' \
    'задачами, на чем основана известная техника переноса обучения, когда нейросетевая ' \
    'модель предварительно обучается (предобучается) на большой обучающей выборке ' \
    'решать ненужную задачу, для которой доступна “дешевая” или автоматическая ' \
    'разметка, а потом дообучается на малой обучающей выборке, описывающей конечную ' \
    'задачу и размеченной вручную. При этом глубокие нейронные сети, как и другие ' \
    'методы машинного обучения, могут быть неустойчивы к ряду уязвимостей и угроз, что ' \
    'создает препятствия при создании доверительного искусственного интеллекта на ' \
    'базе нейросетевого подхода.'

output = generate_answer([segmentation_example], ru_llm_tokenizer,
                         ru_llm_config, ru_llm_model)[0]
for it in output.split('\n'):
    print(f'\n{it}\n')

Глубокие нейронные сети за последнее время стали наиболее популярным инструментом для решения большинства задач искусственного интеллекта и особенно задач анализа и генерации текстов на естественном языке, относящихся к т.н. “разговорному искусственному интеллекту”. Это произошло по двум причинам:


1. Нейронная сеть строит обучаемую иерархию представлений.


2. Эта иерархия представлений является переиспользуемой между задачами, на чем основана известная техника переноса обучения, когда нейросетевая модель предварительно обучается (предобучается) на большой обучающей выборке решать ненужную задачу, для которой доступна “дешевая” или автоматическая разметка, а потом дообучается на малой обучающей выборке, описывающей конечную задачу и размеченной вручную.


При этом глубокие нейронные сети, как и другие методы машинного обучения, могут быть неустойчивы к ряду уязвимостей и угроз, что создает препятствия при создании доверительного искусственного интеллекта на базе нейросетевого подхода.

文本簡化

from typing import List

from transformers import T5ForConditionalGeneration
from transformers import GenerationConfig
from transformers import GPT2Tokenizer
import torch

def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
                    model: T5ForConditionalGeneration) -> List[str]:
    nonempty_answers = []
    for cur in answers:
        if len(cur.strip()) > 0:
            nonempty_answers.append(cur)
    if len(nonempty_answers) == 0:
        return ['' for _ in range(len(answers))]
    x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
    out = model.generate(**x, generation_config=config)
    questions_for_nonempty_texts = [
        tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
    ]
    united_questions = []
    idx = 0
    for cur in answers:
        if len(cur.strip()) > 0:
            united_questions.append(questions_for_nonempty_texts[idx])
            idx += 1
        else:
            united_questions.append('')
    return united_questions


ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
if torch.cuda.is_available():
    ru_llm_model = ru_llm_model.cuda()

simplification_example = \
    'Упрости, пожалуйста, следующий текст. ' \
    'Краеугольным камнем любых алгоритмов машинного обучения является, прежде всего, ' \
    'обобщающая способность. Когда мы обучаем некоторую модель, у нас есть обучающая ' \
    'выборка, у нас есть функция ошибки, и наша задача сводится, в общем-то, ' \
    'к оптимизационной задаче. Мы минимизируем функцию ошибки по параметрам нашей ' \
    'модели на обучающей выборке. Но на самом деле хотим-то мы не этого! ' \
    'Мы не обучающую ошибку хотим минимизировать.'

output = generate_answer([summarization_example], ru_llm_tokenizer,
                         ru_llm_config, ru_llm_model)[0]
print(output)

Алгоритмы машинного обучения должны учитывать обобщающую способность, а не только функцию ошибки. При обучении модели мы минимизируем функцию ошибки, но не обучающую ошибку.

命名實體識別 (NER)

from typing import List

from transformers import T5ForConditionalGeneration
from transformers import GenerationConfig
from transformers import GPT2Tokenizer
import torch

def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
                    model: T5ForConditionalGeneration) -> List[str]:
    nonempty_answers = []
    for cur in answers:
        if len(cur.strip()) > 0:
            nonempty_answers.append(cur)
    if len(nonempty_answers) == 0:
        return ['' for _ in range(len(answers))]
    x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
    out = model.generate(**x, generation_config=config)
    questions_for_nonempty_texts = [
        tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
    ]
    united_questions = []
    idx = 0
    for cur in answers:
        if len(cur.strip()) > 0:
            united_questions.append(questions_for_nonempty_texts[idx])
            idx += 1
        else:
            united_questions.append('')
    return united_questions


ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
if torch.cuda.is_available():
    ru_llm_model = ru_llm_model.cuda()

ner_examples = [
    'Найди, пожалуйста, все именованные сущности типа "Организация" в следующем ' \
    'тексте и выпиши список таких сущностей. Окончил Костромской государственный ' \
    'педагогический институт по специальности "учитель истории и обществоведения, ' \
    'методист воспитательной работы".',  # organization
    'Найди, пожалуйста, все именованные сущности типа "Человек" в следующем тексте ' \
    'и выпиши список таких сущностей. С. Ситников - уроженец Костромы, пользуется ' \
    'популярностью в области.',  # person
    'Найди, пожалуйста, все именованные сущности типа "Местоположение" в следующем ' \
    'тексте и выпиши список таких сущностей. С. Ситников - уроженец Костромы, ' \
    'пользуется популярностью в области.',  # location
]

outputs = generate_answer(ner_examples, ru_llm_tokenizer, ru_llm_config, ru_llm_model)
for it in outputs:
    print(f'\n{it}')

Костромской государственный педагогический институт

С. Ситников

Костромы

回答任意問題

from typing import List

from transformers import T5ForConditionalGeneration
from transformers import GenerationConfig
from transformers import GPT2Tokenizer
import torch

def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
                    model: T5ForConditionalGeneration) -> List[str]:
    nonempty_answers = []
    for cur in answers:
        if len(cur.strip()) > 0:
            nonempty_answers.append(cur)
    if len(nonempty_answers) == 0:
        return ['' for _ in range(len(answers))]
    x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
    out = model.generate(**x, generation_config=config)
    questions_for_nonempty_texts = [
        tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
    ]
    united_questions = []
    idx = 0
    for cur in answers:
        if len(cur.strip()) > 0:
            united_questions.append(questions_for_nonempty_texts[idx])
            idx += 1
        else:
            united_questions.append('')
    return united_questions


ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
if torch.cuda.is_available():
    ru_llm_model = ru_llm_model.cuda()

question_about_scientific_facts = 'Опишите процесс фотосинтеза.'
output = generate_answer([question_about_scientific_facts], ru_llm_tokenizer,
                         ru_llm_config, ru_llm_model)[0]
print(f'Вопрос: {question_about_scientific_facts[4:]}')
print(f'Ответ:  {output}\n')

question_about_russian_grammar = 'Дополни предложение правильной формой глагола: ' \
                                 '"Я ... (писать) письмо уже час."'
output = generate_answer([question_about_russian_grammar], ru_llm_tokenizer,
                         ru_llm_config, ru_llm_model)[0]
print(f'Вопрос: {question_about_russian_grammar[4:]}')
print(f'Ответ:  {output}\n')

Опишите процесс фотосинтеза.
Фотосинтез - это процесс, в котором растения используют энергию света для преобразования углекислого газа и воды в глюкозу и кислород. Во время фотосинтеза светосинтетические органеллы растительной клетки - хлоропласты - преобразуют световую энергию в химическую, которая затем используется для синтеза глюкозы и других органических соединений.

Дополни предложение правильной формой глагола: "Я ... (писать) письмо уже час."
Я пишу письмо уже час.

📚 詳細文檔

此部分原文檔未提供詳細說明，故跳過。

🔧 技術細節

此部分原文檔未提供具體技術實現細節，故跳過。

📄 許可證

該模型採用 Apache-2.0 許可證。

🚫 FRED-T5-large-instruct-v0.1 的侷限性

⚠️ 重要提示

• 代碼和事實不準確：模型可能會生成不正確的代碼片段和陳述。用戶應將這些輸出視為建議或起點，而非確定或準確的解決方案。
• 語言限制：該模型主要設計用於理解標準俄語。非正式俄語、俚語或其他語言可能會給其理解帶來挑戰，導致潛在的誤解或響應錯誤。
• 潛在的社會偏見：儘管在確保訓練數據安全方面做出了努力，但 FRED-T5-large-instruct-v0.1 並非完全沒有社會偏見。它有可能生成反映這些社會偏見的內容，特別是在被明確提示或要求這樣做時。建議用戶意識到這一點，並在解釋模型輸出時保持謹慎和批判性思維。
• 有害內容：如果明確提示或要求，模型仍可能產生有害內容。