Bertino

🚀 BERTino: イタリア語のDistilBERTモデル

このリポジトリには、indigo.aiによって大規模な一般ドメインのイタリア語コーパスで事前学習された、イタリア語のDistilBERTモデルであるBERTinoが含まれています。BERTinoはタスクに依存せず、すべての下流タスクに対して微調整することができます。

✨ 主な機能

• イタリア語のDistilBERTモデルで、大規模なコーパスで事前学習されています。
• タスクに依存せず、様々な下流タスクに対して微調整可能です。

📦 インストール

原文書にインストール手順は記載されていないため、このセクションは省略されます。

📚 ドキュメント

コーパス

事前学習に使用したコーパスは、Paisa と ItWaC コーパスの統合です。最終的なコーパスには1400万文が含まれ、合計12GBのテキストがあります。

下流タスクの結果

行った事前学習を検証するために、イタリア語ParTUT、イタリア語ISDT、イタリア語WikiNER および多クラス文分類タスクでBERTinoを評価しました。比較のために、同じタスクで同じエポック数で微調整された 教師モデル の結果も報告しています。

イタリア語ISDT:

イタリア語ParTUT:

イタリア語WikiNER:

多クラス文分類:

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。