Bert Restore Punctuation Turkish

🚀 基于Transformer的土耳其语标点恢复模型

本项目旨在为土耳其语文本正确添加预先确定的标点符号。我们提出了三种预训练的Transformer模型，用于预测土耳其语中的句号（.）、逗号（,）和问号（?）。你可以在论文 基于Transformer的土耳其语标点恢复 中找到所使用的BERT模型。

🚀 快速开始

💻 使用示例

基础用法

推荐通过HuggingFace使用本模型。你可以使用以下代码运行预训练的BERT模型进行推理：

from transformers import pipeline

pipe = pipeline(task="token-classification", model="uygarkurt/bert-restore-punctuation-turkish")

sample_text = "Türkiye toprakları üzerindeki ilk yerleşmeler Yontma Taş Devri'nde başlar Doğu Trakya'da Traklar olmak üzere Hititler Frigler Lidyalılar ve Dor istilası sonucu Yunanistan'dan kaçan Akalar tarafından kurulan İyon medeniyeti gibi çeşitli eski Anadolu medeniyetlerinin ardından Makedonya kralı Büyük İskender'in egemenliğiyle ve fetihleriyle birlikte Helenistik Dönem başladı"

out = pipe(sample_text)

若要使用其他预训练模型，你只需将 model 参数替换为我们提供的 可用模型 之一。

📦 安装指南

文档未提及安装步骤，此处跳过。

📚 详细文档

📊 数据

数据集以训练集、验证集和测试集的形式存放在 data/ 目录中。

数据集的概要如下：

🧪 可用模型

我们对BERT、ELECTRA和ConvBERT进行了实验。预训练模型可通过Huggingface访问。

• BERT: https://huggingface.co/uygarkurt/bert-restore-punctuation-turkish
• ELECTRA: https://huggingface.co/uygarkurt/electra-restore-punctuation-turkish
• ConvBERT: https://huggingface.co/uygarkurt/convbert-restore-punctuation-turkish

📈 结果

以下总结了每个模型和标点符号的 精确率、召回率 和 F1 分数。

📖 引用

@INPROCEEDINGS{10286690,
    author={Kurt, Uygar and Çayır, Aykut},
    booktitle={2023 8th International Conference on Computer Science and Engineering (UBMK)}, 
    title={Transformer Based Punctuation Restoration for Turkish}, 
    year={2023},
    volume={},
    number={},
    pages={169-174},
    doi={10.1109/UBMK59864.2023.10286690}
}

📄 许可证

本项目采用MIT许可证。