codet5-small-custom-functions-dataset-pythonオープンソースモデル - Pythonのカスタム関数コードを無料で生成

ホーム

Codet5 Small Custom Functions Dataset Python

sharozによって開発

Salesforce/codet5-smallを微調整したPythonコード生成モデル、カスタム関数生成タスクに特化

大規模言語モデル

Transformers

オープンソースライセンス:Apache-2.0 #Pythonコード生成 #関数レベルの微調整 #小型モデルの効率性

ダウンロード数 43

リリース時間 : 5/14/2023

モデル概要

このモデルはCodeT5アーキテクチャの小型バージョンで、Pythonのカスタム関数生成タスク向けに微調整されています。コード補完や関数生成などの開発支援シナリオに適しています。

モデル特徴

Python関数生成に特化

Pythonカスタム関数生成タスク向けに最適化

軽量アーキテクチャ

CodeT5-smallアーキテクチャベースでリソースが限られた環境に適している

微調整による性能最適化

特定のデータセットで微調整後、検証損失が0.2103を達成

モデル能力

Pythonコード生成

関数自動補完

コード変換

使用事例

開発支援ツール

IDEプラグイン

開発環境に統合してリアルタイムな関数提案を提供

開発効率の向上

コード補完システム

部分的なコードスニペットから完全な関数を生成

🚀 codet5-small-custom-functions-dataset-python

このモデルは、Salesforce/codet5-small をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失率: 0.2103

🚀 クイックスタート

このモデルは、特定のデータセットでファインチューニングされた codet5-small のバージョンです。評価セットでの損失率は 0.2103 です。

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習率 (learning_rate): 2e-05
学習バッチサイズ (train_batch_size): 8
評価バッチサイズ (eval_batch_size): 8
乱数シード (seed): 42
オプティマイザ (optimizer): Adam (ベータ=(0.9, 0.999), イプシロン=1e-08)
学習率スケジューラの種類 (lr_scheduler_type): 線形
エポック数 (num_epochs): 10

学習結果

学習損失	エポック	ステップ	検証損失
6.8821	0.03	1	4.9003
5.1641	0.06	2	4.1876
4.5747	0.09	3	3.5772
3.985	0.12	4	3.0527
4.0255	0.15	5	2.5962
3.1963	0.18	6	2.2589
3.01	0.21	7	1.9755
2.5837	0.24	8	1.7736
2.6645	0.27	9	1.6032
1.8825	0.3	10	1.4620
2.282	0.33	11	1.3621
1.9555	0.36	12	1.2926
2.0374	0.39	13	1.2261
1.6276	0.42	14	1.1631
1.937	0.45	15	1.1053
1.4738	0.48	16	1.0512
1.5335	0.52	17	1.0016
1.5224	0.55	18	0.9554
1.5048	0.58	19	0.9175
1.3983	0.61	20	0.8806
1.2506	0.64	21	0.8495
1.186	0.67	22	0.8243
1.1824	0.7	23	0.7988
1.29	0.73	24	0.7728
1.159	0.76	25	0.7468
0.9893	0.79	26	0.7193
1.2054	0.82	27	0.7013
1.0004	0.85	28	0.6850
0.7918	0.88	29	0.6704
1.0357	0.91	30	0.6570
1.0648	0.94	31	0.6452
1.0679	0.97	32	0.6336
0.9296	1.0	33	0.6227
0.8459	1.03	34	0.6123
0.8312	1.06	35	0.6000
0.9367	1.09	36	0.5844
0.8813	1.12	37	0.5724
0.9134	1.15	38	0.5608
0.6967	1.18	39	0.5509
0.8654	1.21	40	0.5416
0.784	1.24	41	0.5324
0.7623	1.27	42	0.5237
0.739	1.3	43	0.5145
0.8273	1.33	44	0.5064
0.7384	1.36	45	0.4968
0.6936	1.39	46	0.4882
0.7078	1.42	47	0.4807
0.6214	1.45	48	0.4740
0.6983	1.48	49	0.4662
0.6328	1.52	50	0.4588
0.663	1.55	51	0.4533
0.6518	1.58	52	0.4476
0.5782	1.61	53	0.4343
0.6361	1.64	54	0.4296
0.5804	1.67	55	0.4249
0.6557	1.7	56	0.4210
0.6801	1.73	57	0.4173
0.6682	1.76	58	0.4132
0.6346	1.79	59	0.4090
0.6421	1.82	60	0.4028
0.6318	1.85	61	0.3969
0.6914	1.88	62	0.3942
0.5953	1.91	63	0.3920
0.7016	1.94	64	0.3894
0.5728	1.97	65	0.3839
0.5417	2.0	66	0.3738
0.5502	2.03	67	0.3705
0.5167	2.06	68	0.3668
0.6452	2.09	69	0.3629
0.4713	2.12	70	0.3583
0.5239	2.15	71	0.3553
0.6125	2.18	72	0.3527
0.4548	2.21	73	0.3414
0.5705	2.24	74	0.3389
0.4912	2.27	75	0.3374
0.4566	2.3	76	0.3316
0.5642	2.33	77	0.3288
0.4212	2.36	78	0.3260
0.3808	2.39	79	0.3236
0.4833	2.42	80	0.3214
0.4775	2.45	81	0.3193
0.5598	2.48	82	0.3175
0.5144	2.52	83	0.3162
0.4554	2.55	84	0.3152
0.4811	2.58	85	0.3141
0.4545	2.61	86	0.3130
0.438	2.64	87	0.3117
0.4071	2.67	88	0.3104
0.4635	2.7	89	0.3090
0.5118	2.73	90	0.3077
0.4043	2.76	91	0.3059
0.4675	2.79	92	0.3044
0.4551	2.82	93	0.3021
0.497	2.85	94	0.2987
0.4334	2.88	95	0.2932
0.4087	2.91	96	0.2901
0.477	2.94	97	0.2888
0.4834	2.97	98	0.2871
0.4513	3.0	99	0.2856
0.4172	3.03	100	0.2845
0.3827	3.06	101	0.2837
0.3851	3.09	102	0.2830
0.3976	3.12	103	0.2823
0.4909	3.15	104	0.2833
0.5409	3.18	105	0.2830
0.4039	3.21	106	0.2808
0.4057	3.24	107	0.2789
0.4214	3.27	108	0.2779
0.4209	3.3	109	0.2768
0.5044	3.33	110	0.2759
0.3457	3.36	111	0.2750
0.394	3.39	112	0.2744
0.4008	3.42	113	0.2739
0.3837	3.45	114	0.2736
0.3843	3.48	115	0.2734
0.4458	3.52	116	0.2730
0.4417	3.55	117	0.2725
0.4274	3.58	118	0.2719
0.4129	3.61	119	0.2712
0.421	3.64	120	0.2702
0.3625	3.67	121	0.2692
0.3785	3.7	122	0.2683
0.4023	3.73	123	0.2671
0.416	3.76	124	0.2663
0.3661	3.79	125	0.2654
0.373	3.82	126	0.2647
0.4045	3.85	127	0.2640
0.3955	3.88	128	0.2633
0.3796	3.91	129	0.2627
0.3682	3.94	130	0.2621
0.4195	3.97	131	0.2614
0.4135	4.0	132	0.2609
0.3244	4.03	133	0.2601
0.411	4.06	134	0.2597
0.4019	4.09	135	0.2599
0.451	4.12	136	0.2592
0.3948	4.15	137	0.2584
0.3375	4.18	138	0.2577
0.3687	4.21	139	0.2567
0.3946	4.24	140	0.2557
0.4181	4.27	141	0.2547
0.2949	4.3	142	0.2540
0.3621	4.33	143	0.2530
0.4134	4.36	144	0.2523
0.3366	4.39	145	0.2516
0.3798	4.42	146	0.2510
0.3519	4.45	147	0.2505
0.2999	4.48	148	0.2501
0.4096	4.52	149	0.2495
0.4736	4.55	150	0.2485
0.3481	4.58	151	0.2481
0.3683	4.61	152	0.2479
0.325	4.64	153	0.2476
0.3746	4.67	154	0.2473
0.3394	4.7	155	0.2468
0.3653	4.73	156	0.2463
0.3222	4.76	157	0.2458
0.3496	4.79	158	0.2453
0.368	4.82	159	0.2450
0.3473	4.85	160	0.2447
0.3712	4.88	161	0.2445
0.3542	4.91	162	0.2443
0.3249	4.94	163	0.2436
0.3135	4.97	164	0.2431
0.3603	5.0	165	0.2427
0.3345	5.03	166	0.2424
0.3385	5.06	167	0.2428
0.3939	5.09	168	0.2422
0.334	5.12	169	0.2414
0.3482	5.15	170	0.2401
0.3323	5.18	171	0.2396
0.3603	5.21	172	0.2391
0.354	5.24	173	0.2385
0.3241	5.27	174	0.2379
0.4134	5.3	175	0.2373
0.3726	5.33	176	0.2369
0.2997	5.36	177	0.2364
0.3317	5.39	178	0.2360
0.3692	5.42	179	0.2356
0.3411	5.45	180	0.2347
0.274	5.48	181	0.2342
0.3714	5.52	182	0.2337
0.442	5.55	183	0.2332
0.3262	5.58	184	0.2327
0.2929	5.61	185	0.2323
0.3435	5.64	186	0.2315
0.3921	5.67	187	0.2311
0.3609	5.7	188	0.2306
0.3585	5.73	189	0.2302
0.3323	5.76	190	0.2298
0.3205	5.79	191	0.2295
0.3407	5.82	192	0.2293
0.3109	5.85	193	0.2290
0.3075	5.88	194	0.2287
0.3538	5.91	195	0.2285
0.2968	5.94	196	0.2283
0.34	5.97	197	0.2281
0.3608	6.0	198	0.2279
0.2768	6.03	199	0.2277
0.3783	6.06	200	0.2275
0.3024	6.09	201	0.2272
0.3221	6.12	202	0.2269
0.3432	6.15	203	0.2266
0.3497	6.18	204	0.2264
0.3174	6.21	205	0.2261
0.3034	6.24	206	0.2259
0.3035	6.27	207	0.2257
0.3185	6.3	208	0.2255
0.3851	6.33	209	0.2252
0.3612	6.36	210	0.2249
0.2838	6.39	211	0.2247
0.3452	6.42	212	0.2245
0.3358	6.45	213	0.2243
0.3181	6.48	214	0.2241
0.329	6.52	215	0.2240
0.2819	6.55	216	0.2238
0.3283	6.58	217	0.2237
0.2752	6.61	218	0.2235
0.3194	6.64	219	0.2233
0.2981	6.67	220	0.2230
0.2954	6.7	221	0.2229
0.2762	6.73	222	0.2228
0.3206	6.76	223	0.2223
0.3017	6.79	224	0.2221
0.3219	6.82	225	0.2219
0.2929	6.85	226	0.2215
0.3576	6.88	227	0.2212
0.2712	6.91	228	0.2210
0.2682	6.94	229	0.2207
0.3412	6.97	230	0.2205
0.3136	7.0	231	0.2203
0.3161	7.03	232	0.2200
0.2902	7.06	233	0.2197
0.3053	7.09	234	0.2194
0.3182	7.12	235	0.2190
0.2752	7.15	236	0.2186
0.262	7.18	237	0.2182
0.2783	7.21	238	0.2178
0.2795	7.24	239	0.2174
0.2964	7.27	240	0.2171
0.2737	7.3	241	0.2167
0.3377	7.33	242	0.2164
0.2579	7.36	243	0.2161
0.3015	7.39	244	0.2158
0.2525	7.42	245	0.2156
0.3187	7.45	246	0.2154
0.2628	7.48	247	0.2152
0.3267	7.52	248	0.2151
0.2718	7.55	249	0.2149
0.3153	7.58	250	0.2148
0.3555	7.61	251	0.2146
0.2921	7.64	252	0.2145
0.3538	7.67	253	0.2143
0.3197	7.7	254	0.2143
0.3745	7.73	255	0.2141
0.2762	7.76	256	0.2140
0.3053	7.79	257	0.2139
0.3357	7.82	258	0.2137
0.3105	7.85	259	0.2136
0.3287	7.88	260	0.2134
0.3194	7.91	261	0.2133
0.3151	7.94	262	0.2131
0.2784	7.97	263	0.2130
0.2946	8.0	264	0.2128
0.2804	8.03	265	0.2127
0.2549	8.06	266	0.2126
0.3115	8.09	267	0.2125
0.3675	8.12	268	0.2123
0.2582	8.15	269	0.2122
0.2974	8.18	270	0.2121
0.2885	8.21	271	0.2120
0.2962	8.24	272	0.2119
0.2822	8.27	273	0.2118
0.294	8.3	274	0.2117
0.2745	8.33	275	0.2116
0.2694	8.36	276	0.2115
0.2895	8.39	277	0.2114
0.2642	8.42	278	0.2113
0.2773	8.45	279	0.2112
0.2672	8.48	280	0.2111
0.2742	8.52	281	0.2110
0.2624	8.55	282	0.2109
0.2722	8.58	283	0.2108
0.2627	8.61	284	0.2107
0.2614	8.64	285	0.2106
0.2573	8.67	286	0.2105
0.2684	8.7	287	0.2104
0.2611	8.73	288	0.2103