Bert Medium Amharic

🚀 bert-medium-amharic

このモデルは、bert-medium と同じアーキテクチャを持ち、oscar、mc4、および amharic-sentences-corpus データセットのアムハラ語サブセットを使用してゼロから事前学習されました。合計 29000万トークン で学習されています。トークナイザーも同じテキストコーパスでゼロから学習され、語彙サイズは28kです。 評価セットでは以下の結果を達成しています。

• 損失: 2.62
• パープレキシティ: 13.74

このモデルは 4050万パラメータ しか持っていませんが、同じアムハラ語評価セットでは、パラメータが7倍多い 2億7900万 の xlm-roberta-base 多言語モデルと同等の性能を発揮します。

🚀 クイックスタート

このモデルをマスク言語モデリングのパイプラインで直接使用することができます。

基本的な使用法

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='rasyosef/bert-medium-amharic')
>>> unmasker("ከሀገራቸው ከኢትዮጵያ ከወጡ ግማሽ ምዕተ [MASK] ተቆጥሯል።")

[{'score': 0.5135582089424133,
  'token': 9345,
  'token_str': 'ዓመት',
  'sequence': 'ከሀገራቸው ከኢትዮጵያ ከወጡ ግማሽ ምዕተ ዓመት ተቆጥሯል ።'},
 {'score': 0.2923661470413208,
  'token': 9617,
  'token_str': 'ዓመታት',
  'sequence': 'ከሀገራቸው ከኢትዮጵያ ከወጡ ግማሽ ምዕተ ዓመታት ተቆጥሯል ።'},
 {'score': 0.09527599066495895,
  'token': 9913,
  'token_str': 'አመት',
  'sequence': 'ከሀገራቸው ከኢትዮጵያ ከወጡ ግማሽ ምዕተ አመት ተቆጥሯል ።'},
 {'score': 0.06960058212280273,
  'token': 10898,
  'token_str': 'አመታት',
  'sequence': 'ከሀገራቸው ከኢትዮጵያ ከወጡ ግማሽ ምዕተ አመታት ተቆጥሯል ።'},
 {'score': 0.019061630591750145,
  'token': 28157,
  'token_str': '##ዓመት',
  'sequence': 'ከሀገራቸው ከኢትዮጵያ ከወጡ ግማሽ ምዕተዓመት ተቆጥሯል ።'}]

📚 ドキュメント

微調整

このモデルは、以下のアムハラ語の自然言語処理タスクで微調整され、評価されています。

• 感情分類
  • データセット: amharic-sentiment
  • コード: https://github.com/rasyosef/amharic-sentiment-classification
• 固有表現認識
  • データセット: amharic-named-entity-recognition
  • コード: https://github.com/rasyosef/amharic-named-entity-recognition

微調整後のモデル性能

報告されているF1スコアはマクロ平均です。

📦 モデル情報