Punctuate All

🚀 句読点モデル

このモデルは、Oliver Guhrの作品をベースにしています。異なる点は、xlm - roberta - largeではなくxlm - roberta - baseをファインチューニングし、4言語ではなく12言語に対応していることです。対応言語は、英語、ドイツ語、フランス語、スペイン語、ブルガリア語、イタリア語、ポーランド語、オランダ語、チェコ語、ポルトガル語、スロバキア語、スロベニア語です。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

📚 ドキュメント

データセット

このモデルは、wmt/europarlデータセットを使用して訓練されています。

評価指標

このモデルは、以下の評価指標を使用して評価されています。

結果報告

              precision    recall  f1-score   support

           0       0.99      0.99      0.99  73317475
           .       0.94      0.95      0.95   4484845
           ,       0.86      0.86      0.86   6100650
           ?       0.88      0.85      0.86    136479
           -       0.60      0.29      0.39    233630
           :       0.71      0.49      0.58    152424

    accuracy                           0.98  84425503
   macro avg       0.83      0.74      0.77  84425503
weighted avg       0.98      0.98      0.98  84425503

混同行列

     t/p      0     .     ,     ?     -     : 
        0   1.0   0.0   0.0   0.0   0.0   0.0 
        .   0.0   1.0   0.0   0.0   0.0   0.0 
        ,   0.1   0.0   0.9   0.0   0.0   0.0 
        ?   0.0   0.1   0.0   0.8   0.0   0.0 
        -   0.1   0.1   0.5   0.0   0.3   0.0 
        :   0.0   0.3   0.1   0.0   0.0   0.5