Convnext Base 224 22k 1k Orig Cats Vs Dogs

🚀 convnext-base-224-22k-1k-orig-cats-vs-dogs

このモデルは、cats_vs_dogsデータセットでfacebook/convnext-base-224-22k-1kをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.0103
• 正確度: 0.9973

Jockum Nordström, Cat Dog Cat, 2016

📚 ドキュメント

モデルの説明

視覚認識の「咆哮の20年代」は、ビジョントランスフォーマー（ViT）の登場で始まり、ViTはすぐに畳み込みニューラルネットワーク（ConvNet）を超え、最先端の画像分類モデルとなりました。しかし、バニラなViTは、物体検出やセマンティックセグメンテーションなどの一般的なコンピュータビジョンタスクに適用する際に困難に直面します。いくつかのConvNetの事前知識を再導入した階層型トランスフォーマー（例えば、Swinトランスフォーマー）が、トランスフォーマーを一般的なビジョンバックボーンとして実用的にすることができ、幅広いビジョンタスクで卓越した性能を示しました。しかし、このようなハイブリッドアプローチの有効性は、依然としてトランスフォーマーの本質的な優位性に起因することが多く、畳み込みの固有の帰納的バイアスではありません。この研究では、設計空間を再検討し、純粋なConvNetが達成できる限界をテストします。標準的なResNetを徐々にビジョントランスフォーマーの設計に向けて「現代化」し、その過程で性能差に寄与するいくつかの重要な要素を発見しました。この探索の結果として、ConvNeXtと呼ばれる純粋なConvNetモデルのファミリーが生まれました。標準的なConvNetモジュールのみから構築されたConvNeXtは、精度と拡張性の点でトランスフォーマーと有利に競争し、ImageNetのトップ1精度87.8％を達成し、COCO検出とADE20KセグメンテーションでSwinトランスフォーマーを上回り、同時に標準的なConvNetのシンプルさと効率性を維持しています。

学習のハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e-05
• 学習バッチサイズ: 32
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: ベータ=(0.9,0.999)、イプシロン=1e-08のAdam
• 学習率スケジューラの種類: 線形
• エポック数: 5.0

BibTeXエントリと引用情報

@article{DBLP:journals/corr/abs-2201-03545,
  author    = {Zhuang Liu and
               Hanzi Mao and
               Chao{-}Yuan Wu and
               Christoph Feichtenhofer and
               Trevor Darrell and
               Saining Xie},
  title     = {A ConvNet for the 2020s},
  journal   = {CoRR},
  volume    = {abs/2201.03545},
  year      = {2022},
  url       = {https://arxiv.org/abs/2201.03545},
  eprinttype = {arXiv},
  eprint    = {2201.03545},
  timestamp = {Thu, 20 Jan 2022 14:21:35 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2201-03545.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📊 モデル情報