Bert Base Multilingual Cased Finetuned Swahili

🚀 bert-base-multilingual-cased-finetuned-swahili

bert-base-multilingual-cased-finetuned-swahili は、スワヒリ語のテキストで bert-base-multilingual-cased モデルをファインチューニングして得られた スワヒリ語BERT モデルです。テキスト分類や固有表現認識のデータセットにおいて、マルチリンガルBERTよりも 優れた性能 を発揮します。

🚀 クイックスタート

このモデルは、Transformerの pipeline を使用してマスクトークンの予測に利用できます。

基本的な使用法

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='Davlan/bert-base-multilingual-cased-finetuned-swahili')
>>> unmasker("Jumatatu, Bwana Kagame alielezea shirika la France24 huko [MASK] kwamba \"hakuna uhalifu ulitendwa\"")
                    
[{'sequence': 'Jumatatu, Bwana Kagame alielezea shirika la France24 huko Paris kwamba "hakuna uhalifu ulitendwa"', 
'score': 0.31642526388168335, 
'token': 10728, 
'token_str': 'Paris'}, 
{'sequence': 'Jumatatu, Bwana Kagame alielezea shirika la France24 huko Rwanda kwamba "hakuna uhalifu ulitendwa"', 
'score': 0.15753623843193054, 
'token': 57557, 
'token_str': 'Rwanda'}, 
{'sequence': 'Jumatatu, Bwana Kagame alielezea shirika la France24 huko Burundi kwamba "hakuna uhalifu ulitendwa"', 
'score': 0.07211585342884064, 
'token': 57824, 
'token_str': 'Burundi'}, 
{'sequence': 'Jumatatu, Bwana Kagame alielezea shirika la France24 huko France kwamba "hakuna uhalifu ulitendwa"', 
'score': 0.029844321310520172, 
'token': 10688, 
'token_str': 'France'}, 
{'sequence': 'Jumatatu, Bwana Kagame alielezea shirika la France24 huko Senegal kwamba "hakuna uhalifu ulitendwa"', 
'score': 0.0265930388122797, 
'token': 38052, 
'token_str': 'Senegal'}]

✨ 主な機能

このモデルは、特定の期間のエンティティアノテーション付きニュース記事のトレーニングデータセットを使用してファインチューニングされています。これにより、テキスト分類や固有表現認識のタスクで良好な性能を発揮します。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを通じて利用できます。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

意図された用途と制限

制限とバイアス

このモデルは、特定の期間のエンティティアノテーション付きニュース記事のトレーニングデータセットに制限されています。このため、異なるドメインのすべてのユースケースに対してうまく汎化しない可能性があります。

トレーニングデータ

このモデルは Swahili CC-100 でファインチューニングされました。

トレーニング手順

このモデルは、単一のNVIDIA V100 GPUでトレーニングされました。

テストセットでの評価結果 (F値、5回の実行の平均)

BibTeXエントリと引用情報

By David Adelani