Gec Spanish BARTO SYNTHETIC

🚀 スペイン語文法誤り修正モデル

このモデルは、スペイン語の文法誤り修正を行うために訓練されています。COWS - L2Hデータセットの80%と80,984の合成生成された誤りのある文を使用して訓練されています。

🚀 クイックスタート

このモデルは、COWS - L2Hデータセットの80%と80,984の合成生成された誤りのある文を使って、スペイン語の文法誤り修正のために訓練されています。コーパスは文単位に分割されているため、このモデルは文の修正にファインチューニングされています。このモデルは、全体の段落に対してはうまく機能しない可能性があります。段落を修正するには、テキストを文に分割して、各文に対してモデルを実行してください。

合成データは、正しいスペイン語の文からルールベースのアルゴリズムに基づいて生成されました。合成生成のコードは、このプロジェクトのGitHubリポジトリで入手できます: https://github.com/SkitCon/synth_gec_es

COWS - L2HでのBLEUスコア: 0.851

✨ 主な機能

• スペイン語の文法誤り修正
• 文単位の修正に最適化

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます:

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, BartForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("SkitCon/gec-spanish-BARTO-SYNTHETIC")
model = BartForConditionalGeneration.from_pretrained("SkitCon/gec-spanish-BARTO-SYNTHETIC")

input_sentences = ["Yo va al tienda.", "Espero que tú ganas."]

tokenized_text = tokenizer(input_sentences, max_length=128, padding="max_length", truncation=True, return_tensors="pt")

input_ids = tokenized_text["input_ids"].squeeze()
attention_mask = tokenized_text["attention_mask"].squeeze()

outputs = model.generate(input_ids=input_ids, attention_mask=attention_mask)

for sentence in tokenizer.batch_decode(outputs, skip_special_tokens=True):
  print(sentence)

📚 ドキュメント