🚀 句読点予測モデル
このプロジェクトは、複数言語に対応した句読点予測モデルに関するものです。Europarlデータセットを用いて訓練され、多言語での句読点予測に高い精度を発揮します。
🚀 クイックスタート
このモデルはHugging Faceのウィジェットで簡単に試すことができます。以下にいくつかの例を示します。
ウィジェットの使用例
- オランダ語:
- テキスト: "Ondanks dat het nu bijna voorjaar is hebben we nog steds best koude dagen"
- 例のタイトル: "Dutch"
- イタリア語:
- テキスト: "Ho sentito che ti sei laureata il che mi fa molto piacere"
- 例のタイトル: "Italian"
- フランス語:
- テキスト: "Tous les matins vers quatre heures mon père ouvrait la porte de ma chambre"
- 例のタイトル: "French"
- ドイツ語:
- テキスト: "Ist das eine Frage Frau Müller"
- 例のタイトル: "German"
- 英語:
- テキスト: "My name is Clara and I live in Berkeley California"
- 例のタイトル: "English"
📚 詳細ドキュメント
対応言語
- 英語 (en)
- ドイツ語 (de)
- フランス語 (fr)
- イタリア語 (it)
- オランダ語 (nl)
- 多言語 (multilingual)
データセット
このモデルは、wmt/europarl
データセットを用いて訓練されています。
評価指標
全言語に対する分類レポート
precision recall f1-score support
0 0.99 0.99 0.99 47903344
. 0.94 0.95 0.95 2798780
, 0.85 0.84 0.85 3451618
? 0.88 0.85 0.87 88876
- 0.61 0.32 0.42 157863
: 0.72 0.52 0.60 103789
accuracy 0.98 54504270
macro avg 0.83 0.75 0.78 54504270
weighted avg 0.98 0.98 0.98 54504270
📄 ライセンス
このプロジェクトはMITライセンスの下で公開されています。
🔗 引用方法
BibTeX形式の引用
@article{guhr-EtAl:2021:fullstop,
title={FullStop: Multilingual Deep Models for Punctuation Prediction},
author = {Guhr, Oliver and Schumann, Anne-Kathrin and Bahrmann, Frank and Böhme, Hans Joachim},
booktitle = {Proceedings of the Swiss Text Analytics Conference 2021},
month = {June},
year = {2021},
address = {Winterthur, Switzerland},
publisher = {CEUR Workshop Proceedings},
url = {http://ceur-ws.org/Vol-2957/sepp_paper4.pdf}
}
@misc{https://doi.org/10.48550/arxiv.2301.03319,
doi = {10.48550/ARXIV.2301.03319},
url = {https://arxiv.org/abs/2301.03319},
author = {Vandeghinste, Vincent and Guhr, Oliver},
keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences, I.2.7},
title = {FullStop:Punctuation and Segmentation Prediction for Dutch with Transformers},
publisher = {arXiv},
year = {2023},
copyright = {Creative Commons Attribution Share Alike 4.0 International}
}