videomae-base-finetuned-ucf101-subsetオープンソースの動画理解モデル

ホーム

Videomae Base Finetuned Ucf101 Subset

ihsanahakiimによって開発

VideoMAEベースモデルをUCF101行動認識データセットのサブセットでファインチューニングしたビデオ理解モデル

動画処理

Transformers

#ビデオ行動認識 #高精度 #UCF101ファインチューニング

ダウンロード数 39

リリース時間 : 1/12/2025

モデル概要

このモデルはビデオ行動認識タスク向けに最適化されたTransformerアーキテクチャモデルで、ビデオ中の特定の行動カテゴリを認識可能

モデル特徴

効率的なビデオ理解

VideoMAEアーキテクチャを採用し、マスク付き自己符号化事前学習により効率的なビデオ特徴学習を実現

行動認識最適化

UCF101データセットでファインチューニングされ、人間の行動認識タスク向けに特別に最適化

軽量ファインチューニング

事前学習モデルに基づく軽量ファインチューニングにより、高性能を維持しつつトレーニングコストを削減

モデル能力

ビデオ行動分類

時系列特徴抽出

ビデオ内容理解

使用事例

インテリジェント監視

異常行動検出

監視カメラ映像中の異常または特定の行動パターンを識別

スポーツ分析

スポーツ動作認識

アスリートの特定の動作を識別・分析

🚀 videomae-base-finetuned-ucf101-subset

このモデルは、MCG-NJU/videomae-base を未知のデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.5570
正解率: 0.8630

🚀 クイックスタート

このモデルは、特定のビデオデータセットに対してファインチューニングされたもので、評価セットで良好な性能を示しています。

📚 ドキュメント

モデルの説明

このモデルは、MCG-NJU/videomae-base をベースに、未知のデータセットでファインチューニングされています。

想定される用途と制限

詳細な情報は今後の更新で提供される予定です。

学習と評価データ

詳細な情報は今後の更新で提供される予定です。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習率: 5e-05
学習バッチサイズ: 64
評価バッチサイズ: 64
シード: 42
オプティマイザ: betas=(0.9,0.999) かつ epsilon=1e-08 の adamw_torch を使用。追加のオプティマイザ引数はありません。
学習率スケジューラの種類: linear
学習率スケジューラのウォームアップ比率: 0.1
学習ステップ数: 1920

学習結果

学習損失	エポック	ステップ	検証損失	正解率
0.4529	0.0083	16	1.0265	0.7074
0.2409	1.0083	32	0.8731	0.7630
0.21	2.0083	48	0.8199	0.7481
0.149	3.0083	64	0.8314	0.7593
0.1131	4.0083	80	0.7753	0.7741
0.1177	5.0083	96	0.7645	0.7667
0.1106	6.0083	112	0.8109	0.7407
0.1346	7.0083	128	0.6663	0.7963
0.1054	8.0083	144	0.7931	0.7852
0.1302	9.0083	160	0.8380	0.7593
0.1201	10.0083	176	0.7758	0.7704
0.0992	11.0083	192	0.9272	0.7259
0.11	12.0083	208	0.8363	0.7667
0.122	13.0083	224	0.6285	0.8111
0.1336	14.0083	240	0.6990	0.8185
0.0996	15.0083	256	0.7357	0.8037
0.0711	16.0083	272	0.6621	0.8222
0.0839	17.0083	288	0.7744	0.7815
0.0865	18.0083	304	0.6456	0.8222
0.0607	19.0083	320	0.7278	0.7963
0.0672	20.0083	336	0.7863	0.8
0.0575	21.0083	352	0.6789	0.8185
0.0527	22.0083	368	0.6201	0.8148
0.0856	23.0083	384	0.6439	0.8
0.0621	24.0083	400	0.8606	0.7704
0.0725	25.0083	416	0.6359	0.8222
0.0659	26.0083	432	0.6513	0.8259
0.036	27.0083	448	0.6300	0.8111
0.0337	28.0083	464	0.6411	0.8444
0.0249	29.0083	480	0.5657	0.8593
0.0236	30.0083	496	0.5585	0.8296
0.0488	31.0083	512	0.6617	0.8148
0.0327	32.0083	528	0.5680	0.8407
0.0367	33.0083	544	0.7030	0.7963
0.0226	34.0083	560	0.8866	0.7593
0.0277	35.0083	576	0.8434	0.7963
0.0136	36.0083	592	0.7818	0.7778
0.017	37.0083	608	0.7851	0.7593
0.0391	38.0083	624	1.0256	0.7481
0.0211	39.0083	640	0.9225	0.7593
0.0322	40.0083	656	0.7322	0.7926
0.0203	41.0083	672	0.7956	0.7852
0.0223	42.0083	688	0.8495	0.7704
0.0228	43.0083	704	0.6640	0.8259
0.0115	44.0083	720	0.9645	0.7593
0.0222	45.0083	736	0.6595	0.8333
0.0165	46.0083	752	0.7120	0.7963
0.0165	47.0083	768	0.8027	0.8
0.0166	48.0083	784	0.8485	0.7963
0.0097	49.0083	800	0.8504	0.7926
0.0257	50.0083	816	0.7934	0.7963
0.0172	51.0083	832	0.7562	0.8037
0.0064	52.0083	848	0.7097	0.8111
0.0052	53.0083	864	0.7537	0.7963
0.012	54.0083	880	0.7386	0.8074
0.0174	55.0083	896	0.6894	0.8222
0.0151	56.0083	912	0.9360	0.7667
0.0081	57.0083	928	0.7102	0.8222
0.0142	58.0083	944	0.7866	0.8111
0.0169	59.0083	960	0.6516	0.8370
0.0149	60.0083	976	1.0039	0.7556
0.0106	61.0083	992	0.6570	0.8407
0.005	62.0083	1008	0.7252	0.8037
0.0115	63.0083	1024	0.6913	0.8333
0.0059	64.0083	1040	0.6858	0.8481
0.0225	65.0083	1056	0.7342	0.8148
0.0151	66.0083	1072	0.6860	0.8259
0.0098	67.0083	1088	0.7041	0.8296
0.0097	68.0083	1104	0.7321	0.8185
0.014	69.0083	1120	0.6251	0.8481
0.0252	70.0083	1136	0.6771	0.8370
0.0052	71.0083	1152	0.7527	0.8
0.0189	72.0083	1168	0.6936	0.8222
0.0038	73.0083	1184	0.6541	0.8296
0.0027	74.0083	1200	0.7257	0.8074
0.0028	75.0083	1216	0.6686	0.8185
0.0034	76.0083	1232	0.6239	0.8370
0.0111	77.0083	1248	0.7719	0.7926
0.009	78.0083	1264	0.6882	0.8185
0.0038	79.0083	1280	0.7040	0.8222
0.005	80.0083	1296	0.6955	0.8370
0.003	81.0083	1312	0.6797	0.8481
0.0035	82.0083	1328	0.6548	0.8370
0.0029	83.0083	1344	0.6407	0.8370
0.0131	84.0083	1360	0.6152	0.8407
0.0026	85.0083	1376	0.5863	0.8444
0.0048	86.0083	1392	0.6048	0.8519
0.0032	87.0083	1408	0.6064	0.8481
0.0067	88.0083	1424	0.6492	0.8370
0.0077	89.0083	1440	0.7520	0.7852
0.012	90.0083	1456	0.7662	0.8037
0.0092	91.0083	1472	0.7106	0.8074
0.0034	92.0083	1488	0.7589	0.8111
0.0042	93.0083	1504	0.6382	0.8296
0.0053	94.0083	1520	0.6153	0.8519
0.0038	95.0083	1536	0.6227	0.8370
0.002	96.0083	1552	0.6424	0.8407
0.0063	97.0083	1568	0.6215	0.8481
0.0021	98.0083	1584	0.6355	0.8333
0.0022	99.0083	1600	0.6141	0.8407
0.002	100.0083	1616	0.5682	0.8519
0.0058	101.0083	1632	0.5804	0.8519
0.0027	102.0083	1648	0.5724	0.8556
0.0026	103.0083	1664	0.5557	0.8630
0.0016	104.0083	1680	0.5465	0.8593
0.0018	105.0083	1696	0.5636	0.8630
0.0022	106.0083	1712	0.5932	0.8519
0.0018	107.0083	1728	0.5884	0.8593
0.0018	108.0083	1744	0.5960	0.8519
0.0041	109.0083	1760	0.5984	0.8556
0.0019	110.0083	1776	0.6015	0.8519
0.0031	111.0083	1792	0.5941	0.8593
0.0056	112.0083	1808	0.5957	0.8593
0.0014	113.0083	1824	0.6007	0.8593
0.0145	114.0083	1840	0.6138	0.8444
0.002	115.0083	1856	0.6205	0.8407
0.0046	116.0083	1872	0.6194	0.8444
0.0018	117.0083	1888	0.6189	0.8444
0.0023	118.0083	1904	0.6391	0.8444
0.0021	119.0083	1920	0.6227	0.8481