Ancient Greek BERT

🚀 古代ギリシャ語BERT

これは、初めてかつ唯一利用可能な古代ギリシャ語のサブワードBERTモデルです！このモデルは、品詞タグ付けと形態解析の微調整後に最先端のレベルに達しています。標準的な12層、768次元のBERT-baseモデルに対して事前学習済みの重みを提供します。

私たちのGitHubリポジトリでは、このモデルを使用し、品詞タグ付けの微調整を行うためのスクリプトを見つけることができます。

私たちの論文「A Pilot Study for BERT Language Modelling and Morphological Analysis for Ancient and Medieval Greek」を参照してください。この論文は、第五届文化遺産、社会科学、人文と文学の計算言語学合同ワークショップ（LaTeCH - CLfL 2021）で発表されました。

🚀 クイックスタート

依存関係のインストール

pip install transformers
pip install unicodedata
pip install flair

HuggingFaceモデルハブから直接使用する

from transformers import AutoTokenizer, AutoModel
tokeniser = AutoTokenizer.from_pretrained("pranaydeeps/Ancient-Greek-BERT")
model = AutoModel.from_pretrained("pranaydeeps/Ancient-Greek-BERT")  

✨ 主な機能

• 初めてかつ唯一利用可能な古代ギリシャ語のサブワードBERTモデル。
• 品詞タグ付けと形態解析の微調整後に最先端のレベルに達している。
• 標準的な12層、768次元のBERT - baseモデルに対して事前学習済みの重みを提供する。

📦 インストール

必要な依存ライブラリをインストールするには、以下のコマンドを使用します。

pip install transformers
pip install unicodedata
pip install flair

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokeniser = AutoTokenizer.from_pretrained("pranaydeeps/Ancient-Greek-BERT")
model = AutoModel.from_pretrained("pranaydeeps/Ancient-Greek-BERT")  

📚 ドキュメント

品詞/形態解析の微調整

微調整に関するコードと詳細情報については、GitHubリポジトリを参照してください。

学習データ

このモデルは、AUEB NLP Group's Greek BERTから初期化され、その後、First1KGreekプロジェクト、Perseusデジタルライブラリ、PROIELツリーバンク、およびGormanツリーバンクからの単言語データで学習されました。

学習と評価の詳細

AUEB NLP Group's Greek BERTの提案に従い、ギリシャ語に対して標準的なアクセント除去と小文字化が行われました。

このモデルは、4つのNVIDIA Tesla V100 16GB GPUで80エポック学習され、最大シーケンス長は512で、保持されたテストセットでの困惑度は4.8でした。

すべての3つのツリーバンクで品詞タグ付けと形態解析の微調整を行った場合、このモデルは平均90％を超える正解率で最先端の結果を達成しました。さらなる質問がある場合は、私たちの論文を参照するか、私に連絡してください。

📚 引用

もしあなたの研究で古代ギリシャ語BERTを使用した場合は、以下の論文を引用してください。

@inproceedings{ancient-greek-bert,
author = {Singh, Pranaydeep and Rutten, Gorik and Lefever, Els},
title = {A Pilot Study for BERT Language Modelling and Morphological Analysis for Ancient and Medieval Greek},
year = {2021},
booktitle = {The 5th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature (LaTeCH-CLfL 2021)}
}