Inclusively Reformulation It5

🚀 包容性改寫模型

本模型是一個意大利語的序列到序列模型，它基於 IT5-large 進行微調，用於包容性語言改寫任務。

該模型經過訓練，能夠分析並改寫意大利語句子，使其更具包容性（如有需要）。

例如，句子 I professori devono essere preparati（教授們必須做好準備）會被改寫為 Il personale docente deve essere preparato（教學人員必須做好準備）。

📦 訓練數據

該模型在一個包含總共 4705 對句子的數據集上進行訓練，每對句子包含一個具有包容性的句子和一個不具有包容性的句子。數據集劃分如下：

• 訓練集：3764 對
• 驗證集：470 對
• 測試集：471 對

我們還利用了一小部分合成數據（使用一組規則生成）來提高模型在測試集上的性能。 因此，訓練總共使用了 3764 + 75 = 3839 對數據。

數據收集工作由包容性語言領域的專家進行手動標註（數據集目前尚未公開）。

🔧 訓練過程

該模型基於 意大利語 BERT 模型 進行微調，使用了以下超參數：

• max_length：128
• batch_size：8
• learning_rate：5e - 5
• warmup_steps：500
• epochs：25（根據驗證集的 BLEU 分數選擇最佳模型）
• optimizer：AdamW

📊 評估結果

該模型在測試集上進行了評估，得到以下結果：

指標中的 (L) 表示“數值越低越好”。 與未使用合成數據的同一版本模型進行比較，結果表明合成數據有助於提高模型在測試集上的性能。其他比較結果可在 論文 中找到。

📄 引用

如果您使用此模型，請確保引用以下論文：

主論文：

@article{10.1145/3729237,
author = {Greco, Salvatore and La Quatra, Moreno and Cagliero, Luca and Cerquitelli, Tania},
title = {Towards AI-Assisted Inclusive Language Writing in Italian Formal Communications},
year = {2025},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
issn = {2157-6904},
url = {https://doi.org/10.1145/3729237},
doi = {10.1145/3729237},
note = {Just Accepted},
journal = {ACM Trans. Intell. Syst. Technol.},
month = apr,
}

演示論文：

@InProceedings{PKDD23_inclusively,
author="La Quatra, Moreno
and Greco, Salvatore
and Cagliero, Luca
and Cerquitelli, Tania",
title="Inclusively: An AI-Based Assistant for Inclusive Writing",
booktitle="Machine Learning and Knowledge Discovery in Databases: Applied Data Science and Demo Track",
year="2023",
publisher="Springer Nature Switzerland",
address="Cham",
pages="361--365",
isbn="978-3-031-43430-3",
doi="10.1007/978-3-031-43430-3_31"
}

本模型採用的許可證為：CC - BY - NC - SA 4.0。