Xlm Roberta Base Multilingual Text Genre Classifier

🚀 X-GENRE分類器 - 多言語テキストジャンル分類器

X-GENRE分類器は、xlm-roberta-baseをベースにしたテキスト分類モデルで、多言語で手動ラベリングされたX-GENREジャンルデータセットで微調整されています。このモデルは自動ジャンル識別に使用でき、xlm-roberta-baseがサポートするあらゆる言語のテキストに適用可能です。

🚀 クイックスタート

このモデルはxlm-roberta-baseをベースに構築され、多言語で手動ラベリングされたX-GENREジャンルデータセットで微調整されています。xlm-roberta-baseがサポートする言語のテキストであれば、自動ジャンル識別に利用できます。

モデルの開発、データセット、およびデータセット内、データセット間、多言語におけるモデルの性能の詳細については、論文Automatic Genre Identification for Robust Enrichment of Massive Text Collections: Investigation of Classification Methods in the Era of Large Language Models (Kuzman et al., 2023)を参照してください。

また、このモデルはCLARIN.SIリポジトリからダウンロードすることもできます。

このモデルを使用した場合は、以下の論文を引用してください。

@article{kuzman2023automatic,
  title={Automatic Genre Identification for Robust Enrichment of Massive Text Collections: Investigation of Classification Methods in the Era of Large Language Models},
  author={Kuzman, Taja and Mozeti{\v{c}}, Igor and Ljube{\v{s}}i{\'c}, Nikola},
  journal={Machine Learning and Knowledge Extraction},
  volume={5},
  number={3},
  pages={1149--1175},
  year={2023},
  publisher={MDPI}
}

✨ 主な機能

• 多言語対応：複数の言語のテキストジャンル分類に対応しています。
• 高い性能：AGILEベンチマークテストで、他の技術（GPTモデルを含む）よりも優れた性能を発揮します。

💻 使用例

基本的な使用法

from simpletransformers.classification import ClassificationModel
model_args= {
            "num_train_epochs": 15,
            "learning_rate": 1e-5,
            "max_seq_length": 512,
            "silent": True
            }
model = ClassificationModel(
    "xlmroberta", "classla/xlm-roberta-base-multilingual-text-genre-classifier", use_cuda=True,
    args=model_args
    
)
predictions, logit_output = model.predict(["How to create a good text classification model? First step is to prepare good data. Make sure not to skip the exploratory data analysis. Pre-process the text if necessary for the task. The next step is to perform hyperparameter search to find the optimum hyperparameters. After fine-tuning the model, you should look into the predictions and analyze the model's performance. You might want to perform the post-processing of data as well and keep only reliable predictions.", 
                                        "On our site, you can find a great genre identification model which you can use for thousands of different tasks. With our model, you can fastly and reliably obtain high-quality genre predictions and explore which genres exist in your corpora. Available for free!"]
                                        )
predictions
# Output: array([3, 8])

[model.config.id2label[i] for i in predictions]
# Output: ['Instruction', 'Promotion']

高度な使用法

バッチ処理を使用してデータセットで予測を行う例は、Google Collabで確認できます。

📚 ドキュメント

AGILE - 自動ジャンル識別ベンチマーク

自動ジャンル識別モデルの堅牢性を評価し、大規模なテキストコレクションに自動的にジャンル情報を付与する際の可用性をテストするために、ベンチマークテストを設定しました。このベンチマークは11種類のヨーロッパ言語と2つのテストデータセットを対象としています。あなたの結果をベンチマークのGitHubリポジトリに投稿することを歓迎します。

このモデルは、ゼロショットシナリオで使用されるGPTモデルを含む、他のすべての技術よりも優れた性能を発揮します。

以下は、英語のテストデータセット（EN - GINCO）での結果です。

以下は、アルバニア語、カタルーニャ語、クロアチア語、ギリシャ語、アイスランド語、マケドニア語、マルタ語、スロベニア語、トルコ語、ウクライナ語のインスタンスを含む多言語テストデータセット（X - GINCO）での結果です。

（多言語テストデータセットは、曖昧なラベル「Other」と予測信頼度スコアが0.80未満のインスタンスがテストデータセットに含まれていないため、英語のテストデータセットよりも容易です。）

特定の言語の結果を確認するには、[AGILEベンチマーク](https://github.com/TajaKuzman/AGILE - Automatic - Genre - Identification - Benchmark)を参照してください。

想定される用途と制限

用法

ジャンル識別のためのデータの準備と結果の後処理の例については、[こちら](https://github.com/TajaKuzman/Applying - GENRE - on - MaCoCu - bilingual)を参照してください。ここでは、X - GENRE分類器をMaCoCu平行コーパスの英語部分に適用しています。

信頼できる結果を得るためには、ジャンル分類器は十分な長さのドキュメント（経験則では少なくとも75語）に適用する必要があります。信頼度が0.9を超える予測結果は使用しないことをお勧めします。また、ラベル「Other」は予測の低信頼度の別の指標として使用できます。これは通常、テキストに特定のジャンルの十分な特徴がないことを示しており、これらの予測結果も破棄することができます。

提案された後処理（低信頼度の予測、ラベル「Other」、この特定のケースではラベル「Forum」も削除）を行った後、手動検査に基づくMaCoCuデータでの性能は、マクロF1値とマイクロF1値が0.92に達します。

X - GENREカテゴリ

ラベルリスト

labels_list=['Other', 'Information/Explanation', 'News', 'Instruction', 'Opinion/Argumentation', 'Forum', 'Prose/Lyrical', 'Legal', 'Promotion'],

labels_map={'Other': 0, 'Information/Explanation': 1, 'News': 2, 'Instruction': 3, 'Opinion/Argumentation': 4, 'Forum': 5, 'Prose/Lyrical': 6, 'Legal': 7, 'Promotion': 8}

ラベルの説明

微調整のハイパーパラメータ

simpletransformersを使用して微調整を行います。事前に簡単なハイパーパラメータ最適化を行い、推定される最適なハイパーパラメータは以下の通りです。

model_args= {
            "num_train_epochs": 15,
            "learning_rate": 1e-5,
            "max_seq_length": 512,
            "silent": True
            }

📄 ライセンス

このモデルはCC - BY - SA 4.0ライセンスの下で提供されています。

関連情報テーブル

よくある注意事項

⚠️ 重要な注意事項

信頼できる結果を得るためには、ジャンル分類器は十分な長さのドキュメント（経験則では少なくとも75語）に適用する必要があります。信頼度が0.9を超える予測結果は使用しないことをお勧めします。また、ラベル「Other」は予測の低信頼度の別の指標として使用できます。これは通常、テキストに特定のジャンルの十分な特徴がないことを示しており、これらの予測結果も破棄することができます。

💡 使用上のヒント

ジャンル識別のためのデータの準備と結果の後処理の例については、[こちら](https://github.com/TajaKuzman/Applying - GENRE - on - MaCoCu - bilingual)を参照してください。ここでは、X - GENRE分類器をMaCoCu平行コーパスの英語部分に適用しています。