Xlm R Finetuned Toxic Political Tweets Es

🚀 xlm-r-finetuned-toxic-political-tweets-es

このモデルは、事前学習済みモデル xlm-roberta-base をベースに、スペイン下院議員 のツイートデータセットで微調整されました。このデータセットは、ツイートがもたらす政治的毒性のレベルに関してアノテーションされています。

🚀 クイックスタート

このモデルは、2021年に政治家が作成したスペイン語のツイートのテキストで学習されています。したがって、これが期待される入力であり、他のドメインのテキストに適用すると性能が低下する可能性があります。

✨ 主な機能

このモデルは、政治的毒性の2つのシグナルを予測します。

• Toxic: ツイートに少なくともある程度の毒性がある。
• Very Toxic: ツイートに強い毒性がある。

各シグナルに対して0から1までの値が予測されます。

📦 インストール

このモデルは、transformers ライブラリを使用して直接利用できます。以下のようにインストールできます。

pip install transformers

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> text = "Es usted un auténtico impresentable, su señoría."
>>> pipe = pipeline("text-classification", model="Newtral/xlm-r-finetuned-toxic-political-tweets-es")
>>> pipe(text, return_all_scores=True)

[[{'label': 'toxic', 'score': 0.92560875415802},
  {'label': 'very toxic', 'score': 0.8310967683792114}]]

📚 ドキュメント

想定される使用法と制限

このモデルは、スペイン下院議員のスペイン語ツイートの毒性検出器として使用するために作成されました。もし他の用途、例えば映画レビューの毒性検出などを目的とする場合、結果は信頼できない可能性があり、この具体的な目的に合った別のモデルを探す必要があります。

学習手順

事前学習済みモデルは、以下のハイパーパラメータを使用してシーケンス分類のために微調整されました。これらのハイパーパラメータは検証セットから選択されました。

• バッチサイズ = 32
• 学習率 = 2e-5
• エポック数 = 5
• 最大長 = 64

使用されたオプティマイザはAdamWで、最適化された損失は、クラス不均衡に比例したクラス重みを持つ二元交差エントロピーでした。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。