Sage V1.1.0

🚀 sage-v1.1.0

sage-v1.1.0 模型可將文本中的所有單詞規範為俄語標準形式，從而糾正拼寫、標點錯誤和打字錯誤。該模型基於 FRED-T5-1.7B 模型訓練而來，具有較高的準確性和實用性。

🚀 快速開始

本模型可有效糾正俄語文本中的拼寫和標點錯誤，將文本中的所有單詞規範為俄語標準形式。模型基於 FRED-T5-1.7B 進行訓練，使用了包含“人工”錯誤的大型數據集，該數據集基於俄語維基百科和俄語視頻轉錄本構建，並使用 SAGE 庫自動引入了拼寫錯誤和打字錯誤。

代碼示例

import re
import torch
from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRED-T5-1.7B")
model = T5ForConditionalGeneration.from_pretrained("ai-forever/sage-v1.1.0")

model.to('cuda')

tokenizer_config = {
            'max_length': None,
            'padding': 'longest',
            'truncation': False,
            "return_tensors": "pt",
        }

def inference(sentence):
    text = "<LM>" + sentence
    with torch.inference_mode():
        encodings = tokenizer(text, **tokenizer_config)
        for k, v in encodings.items():
            encodings[k] = v.to('cuda:0')
        res = model.generate(
            **encodings,
            use_cache=True,
            max_length = encodings['input_ids'].size(1) * 1.5
        )
        res = res.cpu().tolist()
        res = tokenizer.batch_decode(res, skip_special_tokens=True)
    return res

text = 'Првет какдила'
text = re.sub(r'\n+', '\n', text)
print(inference(text))

# ['Привет, как дела?']

✨ 主要特性

• 拼寫和標點糾錯：能夠準確識別並糾正俄語文本中的拼寫和標點錯誤。
• 基於大型模型訓練：以 FRED-T5-1.7B 為基礎，保證了模型的性能和準確性。
• 使用廣泛數據集：訓練數據來自俄語維基百科和視頻轉錄本，涵蓋了豐富的語言場景。

💻 使用示例

基礎用法

以下是使用模型進行文本糾錯的基本示例：

import re
import torch
from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRED-T5-1.7B")
model = T5ForConditionalGeneration.from_pretrained("ai-forever/sage-v1.1.0")

model.to('cuda')

tokenizer_config = {
            'max_length': None,
            'padding': 'longest',
            'truncation': False,
            "return_tensors": "pt",
        }

def inference(sentence):
    text = "<LM>" + sentence
    with torch.inference_mode():
        encodings = tokenizer(text, **tokenizer_config)
        for k, v in encodings.items():
            encodings[k] = v.to('cuda:0')
        res = model.generate(
            **encodings,
            use_cache=True,
            max_length = encodings['input_ids'].size(1) * 1.5
        )
        res = res.cpu().tolist()
        res = tokenizer.batch_decode(res, skip_special_tokens=True)
    return res

text = 'Првет какдила'
text = re.sub(r'\n+', '\n', text)
print(inference(text))

# ['Привет, как дела?']

📚 詳細文檔

公開引用

• SAGE 庫公告，DataFest 2023
• 關於合成錯誤生成方法的論文，Dialogue 2023
• SAGE EACL 2024 論文

示例

指標

質量

以下是用於確定拼寫檢查器正確性的自動指標。我們在四個可用數據集上，將本解決方案與開源自動拼寫檢查器以及 ChatGPT 系列模型進行了比較：

• RUSpellRU：從 LiveJournal 收集的文本，其中的拼寫錯誤和打字錯誤已手動糾正。
• MultidomainGold：來自 7 個文本來源的示例，包括開放網絡、新聞、社交媒體、評論、字幕、政策文件和文學作品。
• MedSpellChecker：包含醫療病歷中錯誤的文本。
• GitHubTypoCorpusRu：來自 GitHub 提交記錄中的拼寫錯誤和打字錯誤。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

🔧 技術細節

資源

• SAGE 庫，GitHub
• sage-fredt5-large，HuggingFace
• sage-fredt5-distilled-95m，HuggingFace
• sage-m2m100-1.2B，HuggingFace
• sage-mt5-large，HuggingFace

規格

📄 許可證

本項目採用 MIT 許可證。

📞 聯繫方式

如有任何問題或建議，可通過以下郵箱聯繫我們：nikita.martynov.98@list.ru