Bertino

🚀 BERTino：意大利语DistilBERT模型

BERTino是一个由indigo.ai在大规模通用领域意大利语语料库上预训练的意大利语DistilBERT模型。BERTino与具体任务无关，可针对各种下游任务进行微调。

🚀 快速开始

本仓库托管了BERTino模型，你可以基于它开展各类意大利语相关的自然语言处理任务。

✨ 主要特性

• 通用性强：任务无关，可适应多种下游任务。
• 预训练充分：在大规模意大利语语料库上进行预训练。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

语料库

我们使用的预训练语料库是Paisa和ItWaC语料库的组合。最终的语料库包含1400万条句子，文本总量达12GB。

下游任务结果

为验证我们进行的预训练效果，我们在意大利语ParTUT、意大利语ISDT、意大利语WikiNER和多类别句子分类任务上对BERTino进行了评估。为作比较，我们还列出了教师模型在相同任务和相同训练轮数下的结果。

意大利语ISDT：

意大利语ParTUT：

意大利语WikiNER：

多类别句子分类：

🔧 技术细节

文档未提供技术实现细节，暂不展示。

📄 许可证

本项目采用MIT许可证。