MIDI_Transformer_Mistral_10k-vocab_100k-steps开源模型

首页

MIDI Transformer Mistral 10k Vocab 100k Steps

由 sunsetsobserver 开发

该模型是基于未知数据集进行微调的版本，具体任务和架构信息不详。

大型语言模型

Transformers

#低准确率模型 #小批量训练 #长周期优化

下载量 44

发布时间 : 2/21/2024

模型简介

该模型是基于未知数据集进行微调的版本，评估集上的准确率为0.0013，损失为24.0950。具体功能和用途尚不明确。

模型特点

低准确率

该模型在评估集上的准确率仅为0.0013，表现不佳。

高损失

该模型在评估集上的损失为24.0950，表明模型性能较差。

模型能力

使用案例

🚀 runs

该模型是在未知数据集上对进行微调后的版本。它在评估集上取得了以下结果：

损失值：24.0950
准确率：0.0013

🚀 快速开始

此模型为微调版本，你可以根据自身需求，在已有基础上进一步使用或优化。

📚 详细文档

模型描述

此模型是对进行微调后的版本，但关于其更多详细信息，还需进一步补充。

预期用途与限制

目前关于该模型的预期用途和限制的详细信息还未提供，后续可进一步补充完善。

训练和评估数据

目前尚未有关于训练和评估数据的详细信息，后续可补充相关内容。

🔧 技术细节

训练过程

训练超参数

训练过程中使用了以下超参数：

属性	详情
学习率	0.0001
训练批次大小	16
评估批次大小	48
随机种子	444
梯度累积步数	3
总训练批次大小	48
优化器	Adam（β1=0.9，β2=0.999，ε=1e-08）
学习率调度器类型	cosine_with_restarts
学习率调度器预热比例	0.3
训练步数	100000
混合精度训练	Native AMP

训练结果

训练损失	轮数	步数	验证损失	准确率
8.2359	6.04	1000	8.2170	0.0070
7.7137	12.07	2000	7.7007	0.0064
6.5277	18.11	3000	6.5254	0.0000
6.0375	24.14	4000	6.0532	0.0000
5.6908	30.18	5000	5.7100	0.0001
5.4294	36.22	6000	5.4758	0.0002
5.2161	42.25	7000	5.2891	0.0006
5.0151	48.29	8000	5.1152	0.0021
4.8349	54.33	9000	4.9847	0.0020
4.6358	60.36	10000	4.8754	0.0022
4.4326	66.4	11000	4.7809	0.0021
4.2632	72.43	12000	4.7416	0.0017
4.0415	78.47	13000	4.7503	0.0016
3.8196	84.51	14000	4.8472	0.0014
3.6207	90.54	15000	5.0215	0.0014
3.3163	96.58	16000	5.2939	0.0014
3.0377	102.62	17000	5.6685	0.0014
2.7272	108.65	18000	6.1649	0.0013
2.4319	114.69	19000	6.7556	0.0013
2.1647	120.72	20000	7.3951	0.0013
1.9001	126.76	21000	8.0823	0.0013
1.6708	132.8	22000	8.8230	0.0013
1.4762	138.83	23000	9.5335	0.0013
1.2833	144.87	24000	10.1973	0.0013
1.1451	150.91	25000	10.8213	0.0013
1.0251	156.94	26000	11.4402	0.0013
0.9164	162.98	27000	11.9995	0.0013
0.8174	169.01	28000	12.5680	0.0013
0.6862	175.05	29000	13.0050	0.0013
0.5738	181.09	30000	13.4692	0.0013
0.4524	187.12	31000	13.9220	0.0013
0.4252	193.16	32000	14.3340	0.0013
0.3952	199.2	33000	14.7961	0.0013
0.3684	205.23	34000	15.2421	0.0013
0.3338	211.27	35000	15.6433	0.0013
0.307	217.3	36000	16.0182	0.0013
0.2951	223.34	37000	16.3087	0.0013
0.28	229.38	38000	16.6556	0.0013
0.2688	235.41	39000	16.9303	0.0013
0.2582	241.45	40000	17.2209	0.0013
0.238	247.48	41000	17.5311	0.0013
0.2261	253.52	42000	17.7731	0.0013
0.21	259.56	43000	18.0205	0.0013
0.2073	265.59	44000	18.2693	0.0013
0.1976	271.63	45000	18.4634	0.0013
0.1865	277.67	46000	18.7215	0.0012
0.1769	283.7	47000	18.9467	0.0013
0.1649	289.74	48000	19.1423	0.0013
0.1517	295.77	49000	19.3638	0.0013
0.1491	301.81	50000	19.5879	0.0013
0.1387	307.85	51000	19.7823	0.0013
0.1332	313.88	52000	19.9663	0.0013
0.1256	319.92	53000	20.1907	0.0013
0.1154	325.96	54000	20.3939	0.0013
0.1091	331.99	55000	20.5926	0.0013
0.0928	338.03	56000	20.8044	0.0013
0.0812	344.06	57000	20.9873	0.0013
0.0677	350.1	58000	21.1931	0.0013
0.0609	356.14	59000	21.3650	0.0013
0.058	362.17	60000	21.5868	0.0013
0.0532	368.21	61000	21.7740	0.0013
0.0481	374.25	62000	21.9339	0.0013
0.0358	380.28	63000	22.1660	0.0012
0.0117	386.32	64000	22.4226	0.0013
0.0768	392.35	65000	22.2193	0.0013
0.0339	398.39	66000	22.3833	0.0013
0.0191	404.43	67000	22.5927	0.0013
0.0493	410.46	68000	22.6069	0.0013
0.0115	416.5	69000	22.8652	0.0012
0.0111	422.54	70000	22.9982	0.0012
0.1182	428.57	71000	22.6628	0.0013
0.0118	434.61	72000	22.9036	0.0013
0.0111	440.64	73000	23.0692	0.0013
0.0108	446.68	74000	23.1857	0.0013
0.0386	452.72	75000	22.9263	0.0013
0.0109	458.75	76000	23.1548	0.0013
0.0109	464.79	77000	23.2761	0.0012
0.0108	470.82	78000	23.3763	0.0013
0.0131	476.86	79000	23.2048	0.0013
0.0108	482.9	80000	23.3772	0.0013
0.0106	488.93	81000	23.4733	0.0013
0.0106	494.97	82000	23.5654	0.0013
0.0242	501.01	83000	23.5459	0.0013
0.0104	507.04	84000	23.5695	0.0013
0.01	513.08	85000	23.6659	0.0013
0.0098	519.11	86000	23.7337	0.0013
0.0097	525.15	87000	23.7961	0.0013
0.0097	531.19	88000	23.8573	0.0013
0.0097	537.22	89000	23.9052	0.0013
0.0097	543.26	90000	23.9524	0.0013
0.0096	549.3	91000	23.9823	0.0013
0.0096	555.33	92000	24.0084	0.0013
0.0095	561.37	93000	24.0364	0.0013
0.0095	567.4	94000	24.0545	0.0013
0.0094	573.44	95000	24.0701	0.0013
0.0094	579.48	96000	24.0826	0.0013
0.0093	585.51	97000	24.0898	0.0013
0.0093	591.55	98000	24.0935	0.0013
0.0093	597.59	99000	24.0944	0.0013
0.0092	603.62	100000	24.0950	0.0013