Distilbert Base Uncased Finetuned Sst 2 English

🚀 DistilBERT base uncased finetuned SST-2

このモデルは、SST-2データセットでファインチューニングされたDistilBERTモデルです。テキスト分類タスクに適しており、開発セットで91.3%の精度を達成しています。

🚀 クイックスタート

モデルの使い方

以下は、このモデルを使った単一ラベル分類のコード例です。

import torch
from transformers import DistilBertTokenizer, DistilBertForSequenceClassification

tokenizer = DistilBertTokenizer.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
model = DistilBertForSequenceClassification.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits

predicted_class_id = logits.argmax().item()
model.config.id2label[predicted_class_id]

✨ 主な機能

直接利用

このモデルはトピック分類に使用できます。生のモデルはマスク言語モデリングや次文予測にも使用できますが、主に下流タスクでのファインチューニングを想定しています。興味のあるタスクでファインチューニングされたバージョンをモデルハブで探すことができます。

誤用と範囲外の利用

このモデルは、人々に敵対的または疎外感を与える環境を意図的に作り出すために使用してはいけません。また、このモデルは人や出来事の事実や真実を表現するように訓練されていないため、そのような内容を生成するためにモデルを使用することは、このモデルの能力範囲外です。

🔧 技術詳細

モデルの詳細

リスク、制限、バイアス

いくつかの実験に基づき、このモデルが代表されにくい集団を対象としたバイアスのある予測を生成する可能性があることがわかりました。

例えば、This film was filmed in COUNTRY のような文に対して、この二値分類モデルは、入力にそのような強い意味的なシフトを示すものがない場合でも、国によって肯定ラベルの確率が大きく異なります（フランスの場合は0.89ですが、アフガニスタンの場合は0.08です）。このcolabで、Aurélien Géronは各国のこれらの確率をプロットした面白いマップを作成しています。

ユーザーは、このモデルのリスクを評価するために、自分のユースケースでこれらの側面を十分に調査することを強くお勧めします。バイアス評価データセットとして、WinoBias、WinoGender、Stereoset を調べることをおすすめします。

訓練

訓練データ

著者は、このモデルの訓練にStanford Sentiment Treebank(sst2)のコーパスを使用しています。

訓練手順

ファインチューニングのハイパーパラメータ

• 学習率: 1e-5
• バッチサイズ: 32
• ウォームアップ: 600
• 最大シーケンス長: 128
• 訓練エポック数: 3.0

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。