Bert Restore Punctuation Turkish

🚀 基於Transformer的土耳其語標點恢復模型

本項目旨在為土耳其語文本正確添加預先確定的標點符號。我們提出了三種預訓練的Transformer模型，用於預測土耳其語中的句號（.）、逗號（,）和問號（?）。你可以在論文 基於Transformer的土耳其語標點恢復 中找到所使用的BERT模型。

🚀 快速開始

💻 使用示例

基礎用法

推薦通過HuggingFace使用本模型。你可以使用以下代碼運行預訓練的BERT模型進行推理：

from transformers import pipeline

pipe = pipeline(task="token-classification", model="uygarkurt/bert-restore-punctuation-turkish")

sample_text = "Türkiye toprakları üzerindeki ilk yerleşmeler Yontma Taş Devri'nde başlar Doğu Trakya'da Traklar olmak üzere Hititler Frigler Lidyalılar ve Dor istilası sonucu Yunanistan'dan kaçan Akalar tarafından kurulan İyon medeniyeti gibi çeşitli eski Anadolu medeniyetlerinin ardından Makedonya kralı Büyük İskender'in egemenliğiyle ve fetihleriyle birlikte Helenistik Dönem başladı"

out = pipe(sample_text)

若要使用其他預訓練模型，你只需將 model 參數替換為我們提供的 可用模型 之一。

📦 安裝指南

文檔未提及安裝步驟，此處跳過。

📚 詳細文檔

📊 數據

數據集以訓練集、驗證集和測試集的形式存放在 data/ 目錄中。

數據集的概要如下：

🧪 可用模型

我們對BERT、ELECTRA和ConvBERT進行了實驗。預訓練模型可通過Huggingface訪問。

• BERT: https://huggingface.co/uygarkurt/bert-restore-punctuation-turkish
• ELECTRA: https://huggingface.co/uygarkurt/electra-restore-punctuation-turkish
• ConvBERT: https://huggingface.co/uygarkurt/convbert-restore-punctuation-turkish

📈 結果

以下總結了每個模型和標點符號的 精確率、召回率 和 F1 分數。

📖 引用

@INPROCEEDINGS{10286690,
    author={Kurt, Uygar and Çayır, Aykut},
    booktitle={2023 8th International Conference on Computer Science and Engineering (UBMK)}, 
    title={Transformer Based Punctuation Restoration for Turkish}, 
    year={2023},
    volume={},
    number={},
    pages={169-174},
    doi={10.1109/UBMK59864.2023.10286690}
}

📄 許可證

本項目採用MIT許可證。