Aristoberto

🚀 aristoBERTo

aristoBERToは、低リソース言語である古代ギリシャ語用のトランスフォーマーモデルです。このモデルの事前学習は、現代ギリシャ語の大規模コーパス（約30GBのテキスト）で学習されたギリシャ語版のBERTであるGreekBERTの重みを用いて初期化されました。その後、ウェブから収集して後処理を行った約900MBの古代ギリシャ語コーパスで事前学習を続けました。重複するテキストや編集用の句読点は削除されています。

古代ギリシャ語の処理に適用した場合、aristoBERToは、品詞タグ付け（POS）、形態素解析（MORPH）、依存構造解析（DEP）、見出し語化（LEMMA）などのほとんどの下流タスクにおいて、xlm - roberta - baseやmdebertaを上回る性能を発揮します。

aristoBERToは、カリフォルニア大学サンディエゴ校のDiogenetプロジェクトによって提供されています。

🚀 クイックスタート

aristoBERToは、古代ギリシャ語の処理に特化したトランスフォーマーモデルで、多くの下流タスクで優れた性能を発揮します。以下のウィジェットでは、モデルの入力例を示しています。

• "Πλάτων ὁ Περικτιόνης [MASK] γένος ἀνέφερεν εἰς Σόλωνα."
• "ὁ Κριτίας ἀπέβλεψε [MASK] τὴν θύραν."
• "πρῶτοι δὲ καὶ οὐνόματα ἱρὰ ἔγνωσαν καὶ [MASK] ἱροὺς ἔλεξαν."

✨ 主な機能

意図された用途

このモデルは、spaCyと古代ギリシャ語のUniversal Dependencyデータセット、およびDiogenetプロジェクトによって作成された固有表現認識（NER）コーパスを用いたファインチューニング用に作成されました。また、マスク埋めモデルとして、損傷したギリシャ語のパピルス、碑文、写本の復元にも使用できます。

評価セットでは、以下の結果を達成しています。

• 損失: 1.6323

🔧 技術詳細

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習結果

フレームワークのバージョン

• Transformers 4.14.0.dev0
• Pytorch 1.10.0+cu102
• Datasets 1.16.1
• Tokenizers 0.10.3