Fullstop Punctuation Multilingual Base

🚀 句読点予測モデル

このプロジェクトは、複数言語に対応した句読点予測モデルに関するものです。Europarlデータセットを用いて訓練され、多言語での句読点予測に高い精度を発揮します。

🚀 クイックスタート

このモデルはHugging Faceのウィジェットで簡単に試すことができます。以下にいくつかの例を示します。

ウィジェットの使用例

• オランダ語:
  • テキスト: "Ondanks dat het nu bijna voorjaar is hebben we nog steds best koude dagen"
  • 例のタイトル: "Dutch"
• イタリア語:
  • テキスト: "Ho sentito che ti sei laureata il che mi fa molto piacere"
  • 例のタイトル: "Italian"
• フランス語:
  • テキスト: "Tous les matins vers quatre heures mon père ouvrait la porte de ma chambre"
  • 例のタイトル: "French"
• ドイツ語:
  • テキスト: "Ist das eine Frage Frau Müller"
  • 例のタイトル: "German"
• 英語:
  • テキスト: "My name is Clara and I live in Berkeley California"
  • 例のタイトル: "English"

📚 詳細ドキュメント

対応言語

• 英語 (en)
• ドイツ語 (de)
• フランス語 (fr)
• イタリア語 (it)
• オランダ語 (nl)
• 多言語 (multilingual)

データセット

このモデルは、wmt/europarlデータセットを用いて訓練されています。

評価指標

• F1スコア

全言語に対する分類レポート

             precision    recall  f1-score   support

           0       0.99      0.99      0.99  47903344
           .       0.94      0.95      0.95   2798780
           ,       0.85      0.84      0.85   3451618
           ?       0.88      0.85      0.87     88876
           -       0.61      0.32      0.42    157863
           :       0.72      0.52      0.60    103789

    accuracy                           0.98  54504270
   macro avg       0.83      0.75      0.78  54504270
weighted avg       0.98      0.98      0.98  54504270

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

🔗 引用方法

BibTeX形式の引用

@article{guhr-EtAl:2021:fullstop,
  title={FullStop: Multilingual Deep Models for Punctuation Prediction},
  author    = {Guhr, Oliver  and  Schumann, Anne-Kathrin  and  Bahrmann, Frank  and  Böhme, Hans Joachim},
  booktitle      = {Proceedings of the Swiss Text Analytics Conference 2021},
  month          = {June},
  year           = {2021},
  address        = {Winterthur, Switzerland},
  publisher      = {CEUR Workshop Proceedings},  
  url       = {http://ceur-ws.org/Vol-2957/sepp_paper4.pdf}
}

@misc{https://doi.org/10.48550/arxiv.2301.03319,
  doi = {10.48550/ARXIV.2301.03319},
  url = {https://arxiv.org/abs/2301.03319},
  author = {Vandeghinste, Vincent and Guhr, Oliver},
  keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences, I.2.7},
  title = {FullStop:Punctuation and Segmentation Prediction for Dutch with Transformers},
  publisher = {arXiv},
  year = {2023},  
  copyright = {Creative Commons Attribution Share Alike 4.0 International}
}