T5 TTParser

🚀 トリニダード英語クレオールパーサー

このモデルは、トリニダード英語クレオールのパーサーとして訓練されています。トリニダード英語クレオールの解析や処理に役立ち、関連するテキストデータの分析に利用できます。

🚀 クイックスタート

このモデルはトリニダード英語クレオールの解析を目的として開発されました。以下のセクションでは、モデルの詳細と使用方法について説明します。

✨ 主な機能

• トリニダード英語クレオールのパーサーとして機能します。
• T5-baseの事前学習モデルを利用しています。
• カスタムデータセットとクレオール化されたJFLEGデータセットを組み合わせて微調整されています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("KES/T5-TTParser")

model = AutoModelForSeq2SeqLM.from_pretrained("KES/T5-TTParser")

txt = "Ah have live with mi paremnts en London"
inputs = tokenizer("grammar:"+txt, truncation=True, return_tensors='pt')

output = model.generate(inputs['input_ids'], num_beams=4, max_length=512, early_stopping=True)
correction=tokenizer.batch_decode(output, skip_special_tokens=True)
print("".join(correction)) #Correction: Ah live with meh parents in London.

📚 ドキュメント

モデルの詳細

JFLEGデータセットは、Caribeライブラリのファイルエンコーディング機能を使用してクレオール化されました。カリブ海クレオールについて詳しくは、Caribe ライブラリを参照してください。

📄 ライセンス

このモデルは、CC BY-NC-SA 4.0ライセンスの下で提供されています。