Xlm Roberta Base Finetuned Wolof Finetuned Ner Swahili

🚀 xlm-roberta-base-finetuned-wolof-finetuned-ner-swahili

このモデルはトークン分類（具体的には固有表現抽出、NER）モデルで、xlm-roberta-base-finetuned-wolof を MasakhaNER データセット、具体的にはスワヒリ語部分でファインチューニングしたものです。

詳細や他の類似モデルについては、メインのGitHubリポジトリ を参照してください。

✨ 主な機能

このモデルはTransformerベースで、MasakhaNERデータセットでファインチューニングされています。これは固有表現抽出データセットで、主に10種類のアフリカ言語のニュース記事が含まれています。

モデルは最大シーケンス長200、バッチサイズ32、学習率5e - 5で50エポックファインチューニングされました。このプロセスは5回（異なる乱数シードで）繰り返され、アップロードされたこのモデルはその5つのシードの中で最良の性能（テストセットでの集約F1スコア）を示しました。

このモデルは、ヨハネスブルのウィットウォーターズランド大学でプロジェクトを行っている私、Michael Beukmanによってファインチューニングされました。これは2021年11月20日時点のバージョン1です。 このモデルは Apache License, Version 2.0 の下でライセンスされています。

お問い合わせと詳細情報

モデルに関する詳細情報（トレーニングスクリプト、詳細な結果、その他のリソースを含む）については、メインのGitHubリポジトリ を訪問してください。質問や問題がある場合は、このリポジトリにissueを立てて連絡することができます。

トレーニングリソース

透明性のために、トレーニングに使用したリソースを以下に示します。NERデータセットでの各モデルのファインチューニングには10から30分かかり、NVIDIA RTX3090 GPUで実行されました。バッチサイズ32を使用するには、少なくとも14GBのGPUメモリが必要でしたが、バッチサイズ1を使用すると、約6.5GBのVRAMでもこれらのモデルを実行することが可能でした。

📦 データ

トレーニング、評価、テストデータセットは、MasakhaNERの GitHub リポジトリから直接取得され、元のデータセットがすでに高品質であるため、最小限の前処理または前処理なしで使用されました。

このデータを使用する動機は、これが「10種類のアフリカ言語の固有表現抽出（NER）に関する最初の大規模で公開された高品質のデータセット」であることです（出典）。高品質なデータと、それを紹介する論文によって築かれた基礎が、このデータセットを使用する理由となっています。評価には、トレーニングデータと同じ分布の専用のテスト分割が使用されたため、このモデルは他の分布に対して汎化できない可能性があり、これを調査するためにさらなるテストが必要です。データの正確な分布については、こちら で詳細に説明されています。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
model_name = 'mbeukman/xlm-roberta-base-finetuned-wolof-finetuned-ner-swahili'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Wizara ya afya ya Tanzania imeripoti Jumatatu kuwa , watu takriban 14 zaidi wamepata maambukizi ya Covid - 19 ."

ner_results = nlp(example)
print(ner_results)

📚 ドキュメント

想定される使用方法

このモデルは、例えば解釈可能性や転移学習などの自然言語処理研究に使用することを想定しています。汎化性や性能が限られているため、本番環境での使用はサポートされていません。特に、このモデルは人に影響を与える重要な下流タスクでの使用を想定して設計されておらず、次に説明するモデルの制限により害が生じる可能性があります。

制限事項

このモデルは、1つの（比較的小さい）データセットで、1つのタスク（NER）、1つのドメイン（ニュース記事）、一定期間のデータでのみトレーニングされています。結果は汎化しない可能性があり、他のタスクで使用すると、モデルの性能が悪くなったり、不公平または偏った結果になる可能性があります。このプロジェクトの目的は転移学習を調査することでしたが、モデルがトレーニングされていない言語での性能は低下します。

このモデルはxlm - roberta - baseを起点としている（特定の言語でのドメイン適応ファインチューニングを行っている可能性もあり）ため、このモデルにも同様の制限が適用されます。これには、トレーニングデータの大部分のヘゲモニー的な視点に偏っていること、根拠がないこと、他の言語での結果が劣ること（トレーニングデータの不均衡が原因である可能性があります）などが含まれます。

Adelani et al. (2021) によると、一般的にモデルは3語以上の固有表現やトレーニングデータに含まれていない固有表現の処理に苦労します。これにより、例えば多くの単語からなる人名を見つけられない可能性があり、結果に誤った表現が生じる可能性があります。同様に、トレーニングデータに含まれていない（例えば異なる言語のため）珍しい名前も予測される頻度が低くなります。

さらに、このモデルは実際に検証されていないため、何をすることが想定されているかを検証せずに使用すると、他のより微妙な問題が顕在化する可能性があります。

プライバシーと倫理的考慮事項

データは公開されているニュースソースのみから取得されており、利用可能なデータは公人や報道に同意した人に関するもののみをカバーするはずです。詳細については、元のMasakhaNER論文を参照してください。

このモデルのファインチューニング中に、明示的な倫理的考慮や調整は行われていません。

評価指標

言語適応モデルは、xlm - roberta - baseを起点とする場合に比べて（ほとんどの場合）優れた性能を達成しています。主な評価指標は、すべてのNERカテゴリの集約F1スコアです。

これらの評価指標はMasakhaNERのテストセットに基づいているため、データ分布はトレーニングセットと類似しています。したがって、これらの結果はこれらのモデルがどれだけ汎化できるかを直接示すものではありません。異なるシードから始めた場合の転移学習の結果には大きなばらつきがあり、転移学習のファインチューニングプロセスは不安定である可能性があります。

使用される評価指標は、以前の研究と一致させ、研究を容易にするために選択されました。他の目的には、他の評価指標がより適切な場合があります。

注意事項と推奨事項

一般的に、このモデルは「日付」カテゴリで他のカテゴリよりも性能が低くなります。したがって、日付が重要な要素である場合は、これを考慮して対処する必要があります。例えば、より多くのデータを収集してアノテーションを付けることが考えられます。

モデル構造

ここでは、他のトレーニングしたモデルと比較した、この特定のモデルの性能詳細を示します。

すべての評価指標はテストセットで計算され、最良の全体的なF1スコアを与えるシードが選択されました。最初の3つの結果列はすべてのカテゴリにわたって平均化されており、後の4つはカテゴリごとの性能を示しています。

このモデルは、トークンに対して以下のラベルを予測できます（出典）。

📄 ライセンス

このモデルは Apache License, Version 2.0 の下でライセンスされています。