Bertino

🚀 BERTino：意大利語DistilBERT模型

BERTino是一個由indigo.ai在大規模通用領域意大利語語料庫上預訓練的意大利語DistilBERT模型。BERTino與具體任務無關，可針對各種下游任務進行微調。

🚀 快速開始

本倉庫託管了BERTino模型，你可以基於它開展各類意大利語相關的自然語言處理任務。

✨ 主要特性

• 通用性強：任務無關，可適應多種下游任務。
• 預訓練充分：在大規模意大利語語料庫上進行預訓練。

📦 安裝指南

文檔未提供安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

語料庫

我們使用的預訓練語料庫是Paisa和ItWaC語料庫的組合。最終的語料庫包含1400萬條句子，文本總量達12GB。

下游任務結果

為驗證我們進行的預訓練效果，我們在意大利語ParTUT、意大利語ISDT、意大利語WikiNER和多類別句子分類任務上對BERTino進行了評估。為作比較，我們還列出了教師模型在相同任務和相同訓練輪數下的結果。

意大利語ISDT：

意大利語ParTUT：

意大利語WikiNER：

多類別句子分類：

🔧 技術細節

文檔未提供技術實現細節，暫不展示。

📄 許可證

本項目採用MIT許可證。