videomae-base-finetuned-signlanguage-last-3 オープンソース動画モデル

ホーム

Videomae Base Finetuned Signlanguage Last 3

ihsanahakiimによって開発

MCG - NJU/videomae - baseをベースに微調整された動画理解モデルで、手話認識タスクに特化しています。

動画処理

Transformers

#手話認識 #動画理解 #動作分類

ダウンロード数 21

リリース時間 : 3/4/2025

モデル概要

このモデルはVideoMAEアーキテクチャをベースに微調整されたバージョンで、手話認識タスクに特化しています。評価セットで72.81%の正確率を達成しています。

モデル特徴

動画理解能力

VideoMAEアーキテクチャをベースに、動画シーケンスから時空間特徴を抽出することに長けています。

手話認識最適化

手話認識タスクに特化して微調整され、評価セットで72.81%の正確率を達成しています。

効率的なトレーニング

線形学習率スケジューリングとウォームアップ戦略を採用し、トレーニングプロセスを最適化しています。

モデル能力

動画分類

手話認識

時空間特徴抽出

使用事例

バリアフリー技術

手話翻訳システム

手話動画をリアルタイムで文字または音声に変換します。

評価セットで72.81%の認識正確率を達成しています。

教育技術

手話学習支援

学習者の手話動作の正確性を評価します。

🚀 videomae-base-finetuned-signlanguage-last-3

このモデルは、MCG-NJU/videomae-base を未知のデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 1.4821
正解率: 0.7281

🚀 クイックスタート

このモデルは、特定のデータセットでファインチューニングされたもので、評価セットで良好な性能を示しています。以下に、トレーニングに使用されたハイパーパラメータとトレーニング結果を示します。

🔧 技術詳細

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

learning_rate: 0.0001
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: betas=(0.9,0.999) と epsilon=1e-08 を持つ adamw_torch を使用。追加のオプティマイザ引数はありません。
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 12000

トレーニング結果

トレーニング損失	エポック	ステップ	検証損失	正解率
4.2516	0.0026	31	4.2449	0.0134
4.2382	1.0026	62	4.2149	0.0268
4.2199	2.0026	93	4.2137	0.0201
4.2282	3.0026	124	4.2076	0.0134
4.2281	4.0026	155	4.2019	0.0201
4.2196	5.0026	186	4.1915	0.0336
4.1905	6.0026	217	4.1647	0.0336
4.0539	7.0026	248	4.0414	0.0403
3.7809	8.0026	279	3.8345	0.0940
3.4673	9.0026	310	3.5941	0.1477
2.9501	10.0026	341	3.1686	0.2886
2.6627	11.0026	372	2.9001	0.3423
2.2112	12.0026	403	2.5710	0.4295
1.8892	13.0026	434	2.2780	0.5235
1.4221	14.0026	465	2.1011	0.5570
1.211	15.0026	496	1.9081	0.6242
0.9595	16.0026	527	1.7780	0.5705
0.6491	17.0026	558	1.6338	0.6376
0.507	18.0026	589	1.5465	0.5839
0.3488	19.0026	620	1.3768	0.6309
0.323	20.0026	651	1.5030	0.6040
0.2706	21.0026	682	1.2643	0.6644
0.2103	22.0026	713	1.4134	0.6309
0.2031	23.0026	744	1.1901	0.6779
0.1598	24.0026	775	1.3051	0.6644
0.1487	25.0026	806	1.0602	0.7584
0.1974	26.0026	837	1.4135	0.6309
0.0994	27.0026	868	1.3057	0.6309
0.1227	28.0026	899	1.1826	0.7114
0.1068	29.0026	930	1.2794	0.6711
0.1462	30.0026	961	1.2636	0.6443
0.1686	31.0026	992	1.2591	0.6644
0.0809	32.0026	1023	1.2660	0.6443
0.1183	33.0026	1054	1.3076	0.6376
0.1129	34.0026	1085	1.3627	0.6376
0.1875	35.0026	1116	1.2035	0.6846
0.1144	36.0026	1147	1.1673	0.6846
0.1495	37.0026	1178	0.9808	0.7248
0.0794	38.0026	1209	1.3220	0.6443
0.048	39.0026	1240	1.2628	0.6711
0.14	40.0026	1271	1.3869	0.6309
0.1426	41.0026	1302	1.0181	0.7450
0.0797	42.0026	1333	1.2371	0.6980
0.1119	43.0026	1364	1.6659	0.6242
0.058	44.0026	1395	1.2526	0.6644
0.0761	45.0026	1426	1.4394	0.6644
0.0626	46.0026	1457	1.3870	0.6913
0.1413	47.0026	1488	1.1319	0.7114
0.134	48.0026	1519	1.1347	0.6980
0.027	49.0026	1550	1.3457	0.6980
0.0302	50.0026	1581	1.2009	0.7248
0.0854	51.0026	1612	1.2139	0.7315
0.0258	52.0026	1643	1.3329	0.6577
0.1034	53.0026	1674	0.9688	0.7517
0.0926	54.0026	1705	1.1885	0.7114
0.1249	55.0026	1736	1.3345	0.6846
0.0478	56.0026	1767	1.5889	0.6577
0.0434	57.0026	1798	1.2202	0.7450
0.0649	58.0026	1829	1.1420	0.7517
0.0441	59.0026	1860	1.2257	0.7315
0.0069	60.0026	1891	1.2855	0.7114
0.0326	61.0026	1922	1.5572	0.6644
0.0208	62.0026	1953	1.4923	0.6846
0.0137	63.0026	1984	0.9975	0.7651
0.0186	64.0026	2015	1.1316	0.7114
0.0098	65.0026	2046	1.3824	0.6779
0.0053	66.0026	2077	1.1830	0.7248
0.0079	67.0026	2108	1.1329	0.7517
0.0085	68.0026	2139	1.3466	0.7114
0.0088	69.0026	2170	1.0010	0.7718
0.0239	70.0026	2201	1.3683	0.6779
0.0059	71.0026	2232	1.2557	0.7383
0.0361	72.0026	2263	1.5913	0.5973
0.0304	73.0026	2294	1.3168	0.7248
0.0125	74.0026	2325	1.1882	0.7047
0.1021	75.0026	2356	1.8726	0.5906
0.051	76.0026	2387	1.3520	0.6913
0.0113	77.0026	2418	1.1721	0.7248
0.0157	78.0026	2449	1.1814	0.7517
0.0193	79.0026	2480	1.2136	0.7248
0.0069	80.0026	2511	1.2597	0.7248
0.0252	81.0026	2542	1.4323	0.6779
0.0031	82.0026	2573	1.2964	0.7584
0.003	83.0026	2604	1.1853	0.7517
0.0105	84.0026	2635	1.1363	0.7517
0.003	85.0026	2666	1.2612	0.7383
0.0337	86.0026	2697	1.2846	0.7248
0.0069	87.0026	2728	1.7682	0.6846
0.0117	88.0026	2759	1.4233	0.7383
0.0052	89.0026	2790	1.3981	0.7248
0.0397	90.0026	2821	1.4646	0.6980
0.0034	91.0026	2852	1.0562	0.7718
0.077	92.0026	2883	1.1682	0.7517
0.0065	93.0026	2914	1.5453	0.7383
0.0333	94.0026	2945	1.5624	0.7114
0.0052	95.0026	2976	1.3218	0.7383
0.0471	96.0026	3007	1.2380	0.7517
0.0194	97.0026	3038	1.1390	0.7584
0.0098	98.0026	3069	1.2800	0.7651
0.0056	99.0026	3100	1.3672	0.7651
0.0234	100.0026	3131	1.1982	0.7718
0.0207	101.0026	3162	1.1749	0.7785
0.0178	102.0026	3193	1.1971	0.7584
0.0012	103.0026	3224	1.4601	0.7383
0.0007	104.0026	3255	1.3529	0.7651
0.0007	105.0026	3286	1.2458	0.7718
0.0031	106.0026	3317	1.0980	0.7785
0.0009	107.0026	3348	1.2404	0.7651
0.0066	108.0026	3379	1.4581	0.7047
0.0176	109.0026	3410	1.3197	0.7181
0.0022	110.0026	3441	1.1781	0.7651
0.0087	111.0026	3472	0.9605	0.7852
0.0008	112.0026	3503	1.3148	0.7248
0.0049	113.0026	3534	1.1561	0.7517
0.0338	114.0026	3565	1.2139	0.7315
0.0474	115.0026	3596	0.9615	0.8121
0.0135	116.0026	3627	1.4574	0.7181
0.0337	117.0026	3658	1.2884	0.7047
0.0522	118.0026	3689	1.6535	0.6577
0.0131	119.0026	3720	1.2566	0.7383
0.0015	120.0026	3751	1.4322	0.7181
0.003	121.0026	3782	1.1393	0.7651
0.0439	122.0026	3813	1.2454	0.7383
0.0057	123.0026	3844	1.1166	0.8054
0.0023	124.0026	3875	1.0567	0.7987
0.0139	125.0026	3906	1.0584	0.7517
0.0336	126.0026	3937	1.0674	0.7718
0.0014	127.0026	3968	1.1596	0.7718
0.0048	128.0026	3999	0.8337	0.8121
0.0004	129.0026	4030	1.0676	0.8054
0.0076	130.0026	4061	0.8792	0.8121
0.0031	131.0026	4092	0.8429	0.8389
0.0102	132.0026	4123	1.0233	0.8054
0.0006	133.0026	4154	0.9853	0.8054
0.0003	134.0026	4185	0.9309	0.8322
0.001	135.0026	4216	1.2404	0.7517
0.0067	136.0026	4247	1.1084	0.7718
0.0011	137.0026	4278	1.2728	0.7383
0.0047	138.0026	4309	1.2344	0.7718
0.0181	139.0026	4340	1.1505	0.7785
0.0021	140.0026	4371	1.1809	0.7181
0.0153	141.0026	4402	1.4485	0.6913
0.0356	142.0026	4433	1.6288	0.6846
0.0051	143.0026	4464	1.2842	0.7248
0.0105	144.0026	4495	1.3314	0.7450
0.0812	145.0026	4526	1.3686	0.7315
0.0005	146.0026	4557	1.2099	0.7450
0.005	147.0026	4588	1.3219	0.7584
0.0028	148.0026	4619	1.2283	0.7383
0.0411	149.0026	4650	1.2823	0.7651
0.0415	150.0026	4681	1.3887	0.7383
0.0117	151.0026	4712	1.3355	0.7517
0.0409	152.0026	4743	1.2657	0.7718
0.0047	153.0026	4774	1.1535	0.7785
0.0412	154.0026	4805	1.1267	0.7651
0.0105	155.0026	4836	1.2140	0.7785
0.0014	156.0026	4867	1.0343	0.8054
0.0105	157.0026	4898	1.3774	0.7315
0.0393	158.0026	4929	1.1731	0.7718
0.0063	159.0026	4960	1.4566	0.7315
0.0296	160.0026	4991	1.4041	0.7047
0.009	161.0026	5022	1.8027	0.6980
0.0014	162.0026	5053	1.3827	0.7315
0.0007	163.0026	5084	1.3005	0.7450
0.0015	164.0026	5115	1.2469	0.7517
0.0004	165.0026	5146	1.3470	0.7315
0.036	166.0026	5177	1.2124	0.7718
0.001	167.0026	5208	1.1371	0.7651
0.0123	168.0026	5239	1.0661	0.7785
0.0009	169.0026	5270	1.1514	0.7584
0.0004	170.0026	5301	1.2326	0.7248
0.0006	171.0026	5332	1.0440	0.7651
0.0002	172.0026	5363	1.1607	0.7718
0.0003	173.0026	5394	1.0651	0.7584
0.0003	174.0026	5425	1.0344	0.7651
0.0002	175.0026	5456	0.9785	0.7785
0.0002	176.0026	5487	1.0049	0.7852
0.0002	177.0026	5518	0.9546	0.7919
0.0002	178.0026	5549	0.9435	0.7852
0.0002	179.0026	5580	0.9449	0.7852
0.0001	180.0026	5611	0.9410	0.7987
0.0002	181.0026	5642	0.9710	0.8188
0.0001	182.0026	5673	0.9471	0.7987
0.0001	183.0026	5704	1.0540	0.7919
0.0002	184.0026	5735	1.1313	0.7718
0.0003	185.0026	5766	1.0735	0.7651
0.0051	186.0026	5797	1.5357	0.7248
0.0003	187.0026	5828	1.5115	0.7383
0.0089	188.0026	5859	1.3344	0.7181
0.065	189.0026	5890	1.4112	0.7248
0.0066	190.0026	5921	1.1956	0.7248
0.0019	191.0026	5952	1.0895	0.7785
0.0021	192.0026	5983	1.2925	0.7181
0.0696	193.0026	6014	1.2081	0.7315
0.0216	194.0026	6045	1.3298	0.7450
0.0097	195.0026	6076	1.4500	0.7315
0.0019	196.0026	6107	1.4464	0.7047
0.0003	197.0026	6138	1.5205	0.7181
0.0459	198.0026	6169	1.4027	0.7651
0.0002	199.0026	6200	1.3025	0.7517
0.0005	200.0026	6231	1.4194	0.7315
0.0003	201.0026	6262	1.5214	0.7315
0.0003	202.0026	6293	1.5199	0.7383
0.0386	203.0026	6324	1.3650	0.7450
0.0017	204.0026	6355	1.3455	0.7517
0.0006	205.0026	6386	1.2486	0.7785
0.0007	206.0026	6417	1.1444	0.7785
0.0008	207.0026	6448	1.2239	0.7987
0.0002	208.0026	6479	1.3080	0.7651
0.0014	209.0026	6510	1.3474	0.7651
0.0016	210.0026	6541	1.2968	0.7718
0.0597	211.0026	6572	1.3470	0.7383
0.0069	212.0026	6603	1.2246	0.7248
0.0198	213.0026	6634	1.3099	0.7718
0.0017	214.0026	6665	1.3106	0.7517
0.033	215.0026	6696	1.1807	0.7718
0.0002	216.0026	6727	1.3349	0.7785
0.0002	217.0026	6758	1.3824	0.7248
0.0008	218.0026	6789	1.0538	0.8255
0.0002	219.0026	6820	1.1092	0.8322
0.0003	220.0026	6851	1.1588	0.8121
0.0001	221.0026	6882	1.1470	0.8188
0.0001	222.0026	6913	1.1039	0.8389
0.0002	223.0026	6944	1.1088	0.8255
0.0001	224.0026	6975	1.3123	0.7651
0.0004	225.0026	7006	1.3394	0.7651
0.0005	226.0026	7037	1.1872	0.7584
0.0002	227.0026	7068	1.0812	0.7718
0.0001	228.0026	7099	1.0897	0.7852
0.0222	229.0026	7130	1.2743	0.7785
0.01	230.0026	7161	1.5242	0.7114
0.0019	231.0026	7192	1.4789	0.7047
0.0004	232.0026	7223	1.3616	0.7785
0.0014	233.0026	7254	1.4406	0.7785
0.0064	234.0026	7285	1.2080	0.7517
0.0293	235.0026	7316	1.1224	0.7919
0.0002	236.0026	7347	1.2375	0.7450
0.0008	237.0026	7378	1.0250	0.7919
0.0042	238.0026	7409	1.0995	0.8188
0.0001	239.0026	7440	1.4448	0.7450
0.0013	240.0026	7471	1.2713	0.7852
0.0454	241.0026	7502	1.4608	0.7315
0.0072	242.0026	7533	1.5889	0.7248
0.0002	243.0026	7564	1.4743	0.7383
0.0002	244.0026	7595	1.5414	0.7450
0.0052	245.0026	7626	1.4323	0.7315
0.0112	246.0026	7657	1.2444	0.7383
0.0004	247.0026	7688	1.1093	0.7450
0.0045	248.0026	7719	1.0848	0.7718
0.0001	249.0026	7750	1.3045	0.7248
0.0112	250.0026	7781	1.1020	0.7517
0.0001	251.0026	7812	1.1235	0.7315
0.0001	252.0026	7843	1.1265	0.7584
0.0001	253.0026	7874	1.0675	0.7584
0.0004	254.0026	7905	1.1567	0.7987
0.0001	255.0026	7936	1.0066	0.7987
0.0001	256.0026	7967	1.0489	0.7987
0.0024	257.0026	7998	1.0356	0.7919
0.0006	258.0026	8029	1.1126	0.7718
0.0003	259.0026	8060	1.2257	0.7517
0.0002	260.0026	8091	1.0724	0.7987
0.0467	261.0026	8122	1.0753	0.7919
0.0402	262.0026	8153	1.0815	0.7987
0.0002	263.0026	8184	1.1571	0.8054
0.0001	264.0026	8215	1.1499	0.8054
0.0001	265.0026	8246	1.0672	0.8121
0.0001	266.0026	8277	1.0647	0.8121
0.0001	267.0026	8308	1.0555	0.8188
0.0001	268.0026	8339	0.9889	0.8121
0.0001	269.0026	8370	1.1656	0.8054
0.0001	270.0026	8401	1.1094	0.8054
0.0001	271.0026	8432	1.1761	0.7852
0.0001	272.0026	8463	1.1401	0.7852
0.0001	273.0026	8494	1.2372	0.8054
0.0001	274.0026	8525	1.2034	0.7852
0.0001	275.0026	8556	1.1099	0.8121
0.0001	276.0026	8587	1.1181	0.8121
0.0004	277.0026	8618	1.2636	0.7987
0.0001	278.0026	8649	1.2969	0.7919
0.0001	279.0026	8680	1.2581	0.7987
0.0001	280.0026	8711	1.1910	0.7852
0.0001	281.0026	8742	1.2557	0.7852
0.0002	282.0026	8773	1.3032	0.7383
0.0001	283.0026	8804	1.2660	0.7852
0.0018	284.0026	8835	1.0920	0.8054
0.0001	285.0026	8866	1.1482	0.7651
0.0001	286.0026	8897	1.1187	0.7785
0.0001	287.0026	8928	1.0977	0.7785
0.0143	288.0026	8959	1.0366	0.7852
0.0001	289.0026	8990	1.1588	0.7785
0.0001	290.0026	9021	1.1447	0.7987
0.0001	291.0026	9052	1.1552	0.7987
0.0001	292.0026	9083	1.0919	0.8054
0.0001	293.0026	9114	1.1463	0.8054
0.0001	294.0026	9145	1.0648	0.8054
0.0001	295.0026	9176	1.0909	0.7987
0.0001	296.0026	9207	1.0817	0.7987
0.0001	297.0026	9238	1.0799	0.7987
0.0	298.0026	9269	1.0605	0.7987
0.0001	299.0026	9300	1.1082	0.7987
0.0001	300.0026	9331	1.0973	0.8054
0.0001	301.0026	9362	1.0669	0.7987
0.0001	302.0026	9393	1.0724	0.7987
0.0	303.0026	9424	1.0587	0.7987
0.0	304.0026	9455	1.0554	0.7987
0.0	305.0026	9486	1.0789	0.7987
0.0	306.0026	9517	1.0630	0.7987
0.0001	307.0026	9548	1.0515	0.7987
0.0001	308.0026	9579	1.1023	0.7987
0.0	309.0026	9610	1.0297	0.7987
0.0001	310.0026	9641	1.3142	0.7718
0.0001	311.0026	9672	1.2724	0.7852
0.0001	312.0026	9703	1.1862	0.7852
0.0001	313.0026	9734	1.1066	0.7987
0.0	314.0026	9765	1.0727	0.7919
0.0	315.0026	9796	1.1358	0.7919
0.0	316.0026	9827	1.0792	0.7987
0.0	317.0026	9858	1.0401	0.7852
0.0001	318.0026	9889	1.0561	0.7919
0.0002	319.0026	9920	1.0660	0.8121
0.0	320.0026	9951	1.0812	0.8255
0.0001	321.0026	9982	1.0705	0.8188
0.0001	322.0026	10013	1.0631	0.8188
0.0001	323.0026	10044	1.0629	0.8054
0.0	324.0026	10075	1.0619	0.8121
0.0001	325.0026	10106	1.1408	0.7919
0.0	326.0026	10137	1.1122	0.8121
0.0001	327.0026	10168	1.3270	0.7517
0.0001	328.0026	10199	1.3256	0.7450
0.0001	329.0026	10230	1.2374	0.7584
0.0224	330.0026	10261	1.2540	0.7383
0.0001	331.0026	10292	1.2998	0.7852
0.0	332.0026	10323	1.2713	0.7718
0.0001	333.0026	10354	1.2456	0.7919
0.0	334.0026	10385	1.1749	0.7987
0.0001	335.0026	10416	1.2139	0.7785
0.0	336.0026	10447	1.1159	0.7785
0.0	337.0026	10478	1.2492	0.8121
0.0001	338.0026	10509	1.4560