T5 KES

🚀 句子校正模型

該模型利用預訓練模型進行句子校正，可處理普通英語和加勒比英語克里奧爾語的位置英語翻譯，能有效提升句子的準確性。

🚀 快速開始

本模型使用了 T5-base 預訓練模型，並通過修改後的 JFLEG 數據集和 Happy Transformer 框架 進行微調。該模型針對普通英語翻譯和加勒比英語克里奧爾語的位置英語翻譯進行了句子校正的微調。隨著更多數據的收集，該模型將定期更新。有關加勒比英語克里奧爾語的更多信息，請查看庫 Caribe。

✨ 主要特性

• 基於 T5-base 預訓練模型，具有較強的語言理解能力。
• 針對普通英語和加勒比英語克里奧爾語的位置英語翻譯進行微調，校正效果好。
• 會隨著數據的增加定期更新，不斷提升性能。

📦 安裝指南

暫未提供具體安裝步驟，可參考相關依賴庫（如 Happy Transformer、transformers）的官方文檔進行安裝。

💻 使用示例

基礎用法

from happytransformer import HappyTextToText, TTSettings

pre_trained_model="T5"
model = HappyTextToText(pre_trained_model, "KES/T5-KES")

arguments = TTSettings(num_beams=4, min_length=1)
sentence = "Wat iz your nam"

correction = model.generate_text("grammar: "+sentence, args=arguments)
if(correction.text.find(" .")):
    correction.text=correction.text.replace(" .", ".")

print(correction.text) # Correction: "What is your name?".

高級用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("KES/T5-KES")

model = AutoModelForSeq2SeqLM.from_pretrained("KES/T5-KES")

text = "I am lived with my parenmts "
inputs = tokenizer("grammar:"+text, truncation=True, return_tensors='pt')

output = model.generate(inputs['input_ids'], num_beams=4, max_length=512, early_stopping=True)
correction=tokenizer.batch_decode(output, skip_special_tokens=True)
print("".join(correction)) #Correction: I am living with my parents.

🔧 技術細節

模型微調的結果達到了 92% 的最終準確率。

📄 許可證

本模型使用的許可證為 cc-by-nc-sa-4.0。