sal-base开源模型 - 基于未知数据集训练，为相关任务提供有效支持

首页

Sal Base

由 bolu61 开发

该模型是在未知数据集上从头开始训练的，在评估集上取得了不错的性能表现，能够为相关任务提供有效支持。

文本分类

Transformers

#高准确率文本分类 #多类别ROC优化 #小样本学习

下载量 216

发布时间 : 2/11/2025

模型简介

一个从头训练的通用模型，在多个评估指标上表现良好，适用于多种分类任务。

模型特点

高准确率

在评估集上整体准确率达到87.86%，在多个类别上表现优异

多类别支持

支持Eol、Msg、Cmd、Var、Dff、Pgr、Stk、Itm、Yml、Obj、Tre等多种类别的分类

稳定训练

采用AdamW优化器和余弦学习率调度器，训练过程稳定收敛

模型能力

多类别分类

高精度预测

不平衡数据处理

使用案例

文本分类

文档分类

对不同类型的文档进行分类

在Pgr类别上F1值达到0.9405

消息分类

区分不同类型的消息

Msg类别ROC AUC值达到0.9836

对象识别

对象分类

识别和分类不同对象

Obj类别精确率和召回率均达到1.0

🚀 sal-base

该模型是在未知数据集上从头开始训练的。它在评估集上取得了一系列不错的结果，如损失值为 0.7435，准确率达到 0.8786 等，能够为相关任务提供有效的支持。

🚀 快速开始

此模型是在未知数据集上从头开始训练的。它在评估集上取得了以下结果：

损失值：0.7435
准确率：0.8786
Eol 精确率：0.8682
Eol 召回率：0.9233
Eol F1 值：0.8949
Eol 支持度：378
Eol ROC AUC 值：0.9700
Msg 精确率：0.7391
Msg 召回率：0.5484
Msg F1 值：0.6296
Msg 支持度：31
Msg ROC AUC 值：0.9836
Cmd 精确率：0.2174
Cmd 召回率：0.4167
Cmd F1 值：0.2857
Cmd 支持度：12
Cmd ROC AUC 值：0.9762
Var 精确率：0.0
Var 召回率：0.0
Var F1 值：0.0
Var 支持度：15
Var ROC AUC 值：0.9956
Dff 精确率：0.0
Dff 召回率：0.0
Dff F1 值：0.0
Dff 支持度：4
Dff ROC AUC 值：0.9990
Pgr 精确率：0.8901
Pgr 召回率：0.9970
Pgr F1 值：0.9405
Pgr 支持度：333
Pgr ROC AUC 值：0.9991
Stk 精确率：0.9630
Stk 召回率：0.65
Stk F1 值：0.7761
Stk 支持度：40
Stk ROC AUC 值：0.9453
Itm 精确率：0.9821
Itm 召回率：0.7639
Itm F1 值：0.8594
Itm 支持度：144
Itm ROC AUC 值：0.9382
Yml 精确率：1.0
Yml 召回率：0.8537
Yml F1 值：0.9211
Yml 支持度：41
Yml ROC AUC 值：0.9964
Obj 精确率：1.0
Obj 召回率：1.0
Obj F1 值：1.0
Obj 支持度：8
Obj ROC AUC 值：1.0
Tre 精确率：1.0
Tre 召回率：0.9583
Tre F1 值：0.9787
Tre 支持度：24
Tre ROC AUC 值：1.0

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

学习率：5e - 06
训练批次大小：10
评估批次大小：10
随机种子：45242
优化器：使用 OptimizerNames.ADAMW_TORCH，β 值为 (0.9, 0.999)，ε 值为 1e - 08，无额外优化器参数
学习率调度器类型：余弦
学习率调度器预热比例：0.1
训练轮数：100.0

训练结果

训练损失	轮数	步数	验证损失	准确率	Eol 精确率	Eol 召回率	Eol F1 值	Eol 支持度	Eol ROC AUC 值	Msg 精确率	Msg 召回率	Msg F1 值	Msg 支持度	Msg ROC AUC 值	Cmd 精确率	Cmd 召回率	Cmd F1 值	Cmd 支持度	Cmd ROC AUC 值	Var 支持度	Var ROC AUC 值	Dff 支持度	Dff ROC AUC 值	Pgr 精确率	Pgr 召回率	Pgr F1 值	Pgr 支持度	Pgr ROC AUC 值	Stk 精确率	Stk 召回率	Stk F1 值	Stk 支持度	Stk ROC AUC 值	Itm 精确率	Itm 召回率	Itm F1 值	Itm 支持度	Itm ROC AUC 值	Yml 精确率	Yml 召回率	Yml F1 值	Yml 支持度	Yml ROC AUC 值	Obj 精确率	Obj 召回率	Obj F1 值	Obj 支持度	Obj ROC AUC 值	Tre 精确率	Tre 召回率	Tre F1 值	Tre 支持度	Tre ROC AUC 值
2.5311	1.0	76	2.4941	0.0194	0.0	0.0	0.0	378	0.4851	0.0456	0.4516	0.0828	31	0.7149	0.0073	0.1667	0.0140	12	0.4709	15	0.4025	4	0.8850	0.0	0.0	0.0	333	0.6887	0.0	0.0	0.0	40	0.4469	0.1429	0.0208	0.0364	144	0.5840	0.5	0.0244	0.0465	41	0.7767	0.0	0.0	0.0	8	0.1738	0.0	0.0	0.0	24	0.7487
2.1099	2.0	152	2.0052	0.4388	0.4979	0.3095	0.3817	378	0.5048	0.1190	0.1613	0.1370	31	0.8382	0.0609	0.5833	0.1102	12	0.7734	15	0.5176	4	0.8207	0.5325	0.9339	0.6783	333	0.9186	0.0	0.0	0.0	40	0.5659	0.3571	0.0694	0.1163	144	0.7699	0.5	0.0488	0.0889	41	0.8385	0.0	0.0	0.0	8	0.4631	0.0	0.0	0.0	24	0.7796
1.5835	3.0	228	1.3663	0.5777	0.4690	0.8201	0.5967	378	0.7462	0.0	0.0	0.0	31	0.8730	0.0	0.0	0.0	12	0.9100	15	0.8133	4	0.6306	0.7972	0.8498	0.8227	333	0.9584	0.0	0.0	0.0	40	0.6980	0.2	0.0139	0.0260	144	0.8902	0.0	0.0	0.0	41	0.9466	0.0	0.0	0.0	8	0.8749	0.0	0.0	0.0	24	0.8314
1.3092	4.0	304	1.0934	0.6806	0.5640	0.8624	0.6820	378	0.8593	0.0	0.0	0.0	31	0.8850	0.0	0.0	0.0	12	0.9299	15	0.8156	4	0.6399	0.8944	0.9159	0.9050	333	0.9802	0.0	0.0	0.0	40	0.8137	0.6306	0.4861	0.5490	144	0.9450	0.0	0.0	0.0	41	0.9842	0.0	0.0	0.0	8	0.9250	0.0	0.0	0.0	24	0.9508
0.9523	5.0	380	0.9353	0.7262	0.6149	0.8492	0.7133	378	0.8953	0.0	0.0	0.0	31	0.9026	0.0	0.0	0.0	12	0.9492	15	0.8372	4	0.6399	0.8646	0.9970	0.9261	333	0.9892	0.0	0.0	0.0	40	0.8796	0.7661	0.6597	0.7090	144	0.9474	0.0	0.0	0.0	41	0.9895	0.0	0.0	0.0	8	0.9598	0.0	0.0	0.0	24	0.9965
0.8714	6.0	456	0.7562	0.8039	0.7164	0.9153	0.8037	378	0.9491	0.0	0.0	0.0	31	0.9143	0.0	0.0	0.0	12	0.9499	15	0.8298	4	0.7083	0.925	1.0	0.9610	333	0.9978	1.0	0.35	0.5185	40	0.9170	0.7516	0.7986	0.7744	144	0.9590	1.0	0.3171	0.4815	41	0.9919	0.0	0.0	0.0	8	0.9793	1.0	0.2917	0.4516	24	0.9989
0.7294	7.0	532	0.6222	0.8282	0.7596	0.8862	0.8181	378	0.9575	0.0	0.0	0.0	31	0.9330	0.0	0.0	0.0	12	0.9479	15	0.8359	4	0.8302	0.9276	1.0	0.9624	333	0.9986	1.0	0.375	0.5455	40	0.9634	0.7815	0.8194	0.8	144	0.9655	0.7826	0.8780	0.8276	41	0.9924	0.0	0.0	0.0	8	0.9976	0.9412	0.6667	0.7805	24	0.9993
0.5118	8.0	608	0.5242	0.8534	0.7680	0.9021	0.8297	378	0.9634	0.0	0.0	0.0	31	0.9457	0.0	0.0	0.0	12	0.9656	15	0.8963	4	0.9035	0.9302	1.0	0.9638	333	0.9993	1.0	0.375	0.5455	40	0.9755	0.8873	0.875	0.8811	144	0.9720	0.9091	0.9756	0.9412	41	0.9972	0.0	0.0	0.0	8	0.9991	0.9231	1.0	0.96	24	0.9995
0.4041	9.0	684	0.5220	0.8485	0.8020	0.8571	0.8286	378	0.9552	0.8333	0.3226	0.4651	31	0.9577	0.0	0.0	0.0	12	0.9672	15	0.9258	4	0.8845	0.8582	1.0	0.9237	333	0.9990	0.9667	0.725	0.8286	40	0.9734	0.9487	0.7708	0.8506	144	0.9765	0.9091	0.9756	0.9412	41	0.9977	0.75	0.375	0.5	8	0.9993	0.9231	1.0	0.96	24	0.9997
0.4858	10.0	760	0.4709	0.8748	0.7968	0.9127	0.8508	378	0.9622	0.8333	0.3226	0.4651	31	0.9592	0.0	0.0	0.0	12	0.9721	15	0.9589	4	0.8913	0.9328	1.0	0.9652	333	0.9995	1.0	0.55	0.7097	40	0.9741	0.9690	0.8681	0.9158	144	0.9798	0.9286	0.9512	0.9398	41	0.9982	0.75	0.375	0.5	8	0.9994	0.9231	1.0	0.96	24	0.9999
0.252	11.0	836	0.4155	0.8738	0.7949	0.9127	0.8498	378	0.9694	0.8462	0.3548	0.5	31	0.9737	0.375	0.25	0.3	12	0.9741	15	0.9900	4	0.9608	0.9354	1.0	0.9666	333	0.9996	1.0	0.45	0.6207	40	0.9663	0.9615	0.8681	0.9124	144	0.9811	0.9268	0.9268	0.9268	41	0.9984	0.75	0.375	0.5	8	0.9995	0.9231	1.0	0.96	24	1.0000
0.2958	12.0	912	0.4171	0.8699	0.8354	0.9127	0.8723	378	0.9718	0.8125	0.4194	0.5532	31	0.9773	0.6667	0.3333	0.4444	12	0.9763	15	0.9921	4	0.9518	0.8952	1.0	0.9447	333	0.9997	0.9565	0.55	0.6984	40	0.9705	0.8810	0.7708	0.8222	144	0.9817	0.9268	0.9268	0.9268	41	0.9986	0.8571	0.75	0.8	8	0.9998	0.9231	1.0	0.96	24	0.9997
0.3351	13.0	988	0.4281	0.8786	0.8438	0.8862	0.8645	378	0.9676	0.8421	0.5161	0.64	31	0.9798	0.625	0.4167	0.5	12	0.9788	15	0.9867	4	0.9464	0.9074	1.0	0.9514	333	0.9996	1.0	0.575	0.7302	40	0.9758	0.8865	0.8681	0.8772	144	0.9840	0.9048	0.9268	0.9157	41	0.9984	0.8571	0.75	0.8	8	0.9998	0.9231	1.0	0.96	24	1.0
0.1799	14.0	1064	0.3970	0.8806	0.8159	0.9259	0.8674	378	0.9704	0.8462	0.3548	0.5	31	0.9825	0.625	0.4167	0.5	12	0.9790	15	0.9934	4	0.9976	0.9354	1.0	0.9666	333	0.9997	1.0	0.375	0.5455	40	0.9539	0.9143	0.8889	0.9014	144	0.9859	0.9459	0.8537	0.8974	41	0.9961	0.8571	0.75	0.8	8	0.9998	0.96	1.0	0.9796	24	1.0
0.2573	15.0	1140	0.3927	0.8942	0.8589	0.9180	0.8875	378	0.9713	0.8571	0.5806	0.6923	31	0.9833	0.8333	0.4167	0.5556	12	0.9814	15	0.9899	4	0.9922	0.9276	1.0	0.9624	333	0.9997	1.0	0.55	0.7097	40	0.9706	0.8966	0.9028	0.8997	144	0.9851	0.9474	0.8780	0.9114	41	0.9982	1.0	0.75	0.8571	8	0.9998	0.9231	1.0	0.96	24	1.0
0.1706	16.0	1216	0.3886	0.8835	0.8357	0.9286	0.8797	378	0.9739	0.85	0.5484	0.6667	31	0.9848	0.8333	0.4167	0.5556	12	0.9799	15	0.9940	4	0.9963	0.9171	1.0	0.9554	333	0.9997	1.0	0.475	0.6441	40	0.9615	0.9084	0.8264	0.8655	144	0.9826	0.9487	0.9024	0.925	41	0.9970	1.0	0.75	0.8571	8	0.9998	1.0	1.0	1.0	24	1.0
0.1121	17.0	1292	0.4100	0.8777	0.8540	0.9286	0.8897	378	0.9717	0.8235	0.4516	0.5833	31	0.9849	0.625	0.4167	0.5	12	0.9783	15	0.9931	4	0.9954	0.8904	1.0	0.9420	333	0.9998	1.0	0.625	0.7692	40	0.9721	0.8790	0.7569	0.8134	144	0.9789	1.0	0.8537	0.9211	41	0.9974	1.0	1.0	1.0	8	1.0	1.0	1.0	1.0	24	1.0
0.1414	18.0	1368	0.4740	0.8757	0.8509	0.9206	0.8844	378	0.9646	0.85	0.5484	0.6667	31	0.9854	0.8333	0.4167	0.5556	12	0.9780	15	0.9932	4	0.9966	0.8833	1.0	0.9380	333	0.9996	1.0	0.575	0.7302	40	0.9652	0.8862	0.7569	0.8165	144	0.9758	0.9722	0.8537	0.9091	41	0.9975	1.0	1.0	1.0	8	1.0	1.0	1.0	1.0	24	1.0
0.0935	19.0	1444	0.4503	0.8689	0.8769	0.9233	0.8995	378	0.9722	0.8077	0.6774	0.7368	31	0.9890	0.25	0.4167	0.3125	12	0.9780	15	0.9939	4	0.9983	0.8582	1.0	0.9237	333	0.9997	0.9630	0.65	0.7761	40	0.9524	0.9592	0.6528	0.7769	144	0.9767	0.9737	0.9024	0.9367	41	0.9982	1.0	0.75	0.8571	8	1.0	1.0	1.0	1.0	24	1.0
0.0794	20.0	1520	0.4563	0.8709	0.8886	0.9074	0.8979	378	0.9740	0.875	0.6774	0.7636	31	0.9879	0.7143	0.4167	0.5263	12	0.9795	15	0.9936	4	0.9976	0.8473	1.0	0.9174	333	0.9998	0.9630	0.65	0.7761	40	0.9514	0.8534	0.6875	0.7615	144	0.9779	0.95	0.9268	0.9383	41	0.9996	1.0	1.0	1.0	8	1.0	1.0	1.0	1.0	24	1.0
0.1209	21.0	1596	0.5927	0.8505	0.8014	0.9286	0.8603	378	0.9639	0.85	0.5484	0.6667	31	0.9857	0.8333	0.4167	0.5556	12	0.9813	15	0.9939	4	0.9956	0.8513	0.9970	0.9184	333	0.9997	1.0	0.375	0.5455	40