Vit Xray Pneumonia Classification

🚀 胸部X光肺炎分類ビジョントランスフォーマーモデル

このモデルは胸部のX光画像の肺炎分類に使用され、事前学習済みモデルを微調整して作成されました。評価セットで優れた性能を発揮し、肺炎と正常な胸部のX光画像を効率的かつ正確に識別し、医療診断に強力な支援を提供します。

🚀 クイックスタート

このモデルは google/vit-base-patch16-224-in21k を胸部X光分類データセットで微調整したバージョンです。 評価セットでは以下の結果を得ています：

• 損失値：0.0868
• 正解率：0.9742

💻 使用例

基本的な使用法

from transformers import pipeline

classifier = pipeline(model="lxyuan/vit-xray-pneumonia-classification")

# 画像は https://www.news-medical.net/health/What-is-Viral-Pneumonia.aspx から取得
classifier("https://d2jx2rerrg6sh3.cloudfront.net/image-handler/ts/20200618040600/ri/650/picture/2020/6/shutterstock_786937069.jpg")

>>>
[{'score': 0.990334689617157, 'label': 'PNEUMONIA'},
 {'score': 0.009665317833423615, 'label': 'NORMAL'}]

📚 ドキュメント

学習過程

ノートブックのリンク：クリックして表示

学習ハイパーパラメータ

学習過程では以下のハイパーパラメータが使用されました：

• 学習率：5e-05
• 学習バッチサイズ：16
• 評価バッチサイズ：16
• 乱数シード：42
• 勾配累積ステップ数：4
• 総学習バッチサイズ：64
• オプティマイザ：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学習率スケジューラの種類：線形
• 学習率スケジューラのウォームアップ比率：0.1
• 学習エポック数：15

from transformers import EarlyStoppingCallback

training_args = TrainingArguments(
    output_dir="vit-xray-pneumonia-classification",
    remove_unused_columns=False,
    evaluation_strategy="epoch",
    save_strategy="epoch",
    logging_strategy="epoch",
    learning_rate=5e-5,
    per_device_train_batch_size=16,
    gradient_accumulation_steps=4,
    per_device_eval_batch_size=16,
    num_train_epochs=15,
    save_total_limit=2,
    warmup_ratio=0.1,
    load_best_model_at_end=True,
    metric_for_best_model="eval_loss",
    greater_is_better=False,
    fp16=True,
    push_to_hub=True,
    report_to="tensorboard"
)

early_stopping = EarlyStoppingCallback(early_stopping_patience=3)

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=train_ds,
    eval_dataset=val_ds,
    tokenizer=processor,
    compute_metrics=compute_metrics,
    callbacks=[early_stopping],
)

学習結果

フレームワークのバージョン

• Transformers 4.30.2
• Pytorch 1.9.0+cu102
• Datasets 2.12.0
• Tokenizers 0.13.3

📄 ライセンス

このモデルは Apache-2.0 ライセンスを採用しています。