sal-base開源模型 - 基於未知數據集訓練，為相關任務提供有效支持

首頁

Sal Base

由bolu61開發

該模型是在未知數據集上從頭開始訓練的，在評估集上取得了不錯的性能表現，能夠為相關任務提供有效支持。

文本分類

Transformers

#高準確率文本分類 #多類別ROC優化 #小樣本學習

下載量 216

發布時間 : 2/11/2025

模型概述

一個從頭訓練的通用模型，在多個評估指標上表現良好，適用於多種分類任務。

模型特點

高準確率

在評估集上整體準確率達到87.86%，在多個類別上表現優異

多類別支持

支持Eol、Msg、Cmd、Var、Dff、Pgr、Stk、Itm、Yml、Obj、Tre等多種類別的分類

穩定訓練

採用AdamW優化器和餘弦學習率調度器，訓練過程穩定收斂

模型能力

多類別分類

高精度預測

不平衡數據處理

使用案例

文本分類

文檔分類

對不同類型的文檔進行分類

在Pgr類別上F1值達到0.9405

消息分類

區分不同類型的消息

Msg類別ROC AUC值達到0.9836

對象識別

對象分類

識別和分類不同對象

Obj類別精確率和召回率均達到1.0

🚀 sal-base

該模型是在未知數據集上從頭開始訓練的。它在評估集上取得了一系列不錯的結果，如損失值為 0.7435，準確率達到 0.8786 等，能夠為相關任務提供有效的支持。

🚀 快速開始

此模型是在未知數據集上從頭開始訓練的。它在評估集上取得了以下結果：

損失值：0.7435
準確率：0.8786
Eol 精確率：0.8682
Eol 召回率：0.9233
Eol F1 值：0.8949
Eol 支持度：378
Eol ROC AUC 值：0.9700
Msg 精確率：0.7391
Msg 召回率：0.5484
Msg F1 值：0.6296
Msg 支持度：31
Msg ROC AUC 值：0.9836
Cmd 精確率：0.2174
Cmd 召回率：0.4167
Cmd F1 值：0.2857
Cmd 支持度：12
Cmd ROC AUC 值：0.9762
Var 精確率：0.0
Var 召回率：0.0
Var F1 值：0.0
Var 支持度：15
Var ROC AUC 值：0.9956
Dff 精確率：0.0
Dff 召回率：0.0
Dff F1 值：0.0
Dff 支持度：4
Dff ROC AUC 值：0.9990
Pgr 精確率：0.8901
Pgr 召回率：0.9970
Pgr F1 值：0.9405
Pgr 支持度：333
Pgr ROC AUC 值：0.9991
Stk 精確率：0.9630
Stk 召回率：0.65
Stk F1 值：0.7761
Stk 支持度：40
Stk ROC AUC 值：0.9453
Itm 精確率：0.9821
Itm 召回率：0.7639
Itm F1 值：0.8594
Itm 支持度：144
Itm ROC AUC 值：0.9382
Yml 精確率：1.0
Yml 召回率：0.8537
Yml F1 值：0.9211
Yml 支持度：41
Yml ROC AUC 值：0.9964
Obj 精確率：1.0
Obj 召回率：1.0
Obj F1 值：1.0
Obj 支持度：8
Obj ROC AUC 值：1.0
Tre 精確率：1.0
Tre 召回率：0.9583
Tre F1 值：0.9787
Tre 支持度：24
Tre ROC AUC 值：1.0

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

學習率：5e - 06
訓練批次大小：10
評估批次大小：10
隨機種子：45242
優化器：使用 OptimizerNames.ADAMW_TORCH，β 值為 (0.9, 0.999)，ε 值為 1e - 08，無額外優化器參數
學習率調度器類型：餘弦
學習率調度器預熱比例：0.1
訓練輪數：100.0

訓練結果

訓練損失	輪數	步數	驗證損失	準確率	Eol 精確率	Eol 召回率	Eol F1 值	Eol 支持度	Eol ROC AUC 值	Msg 精確率	Msg 召回率	Msg F1 值	Msg 支持度	Msg ROC AUC 值	Cmd 精確率	Cmd 召回率	Cmd F1 值	Cmd 支持度	Cmd ROC AUC 值	Var 支持度	Var ROC AUC 值	Dff 支持度	Dff ROC AUC 值	Pgr 精確率	Pgr 召回率	Pgr F1 值	Pgr 支持度	Pgr ROC AUC 值	Stk 精確率	Stk 召回率	Stk F1 值	Stk 支持度	Stk ROC AUC 值	Itm 精確率	Itm 召回率	Itm F1 值	Itm 支持度	Itm ROC AUC 值	Yml 精確率	Yml 召回率	Yml F1 值	Yml 支持度	Yml ROC AUC 值	Obj 精確率	Obj 召回率	Obj F1 值	Obj 支持度	Obj ROC AUC 值	Tre 精確率	Tre 召回率	Tre F1 值	Tre 支持度	Tre ROC AUC 值
2.5311	1.0	76	2.4941	0.0194	0.0	0.0	0.0	378	0.4851	0.0456	0.4516	0.0828	31	0.7149	0.0073	0.1667	0.0140	12	0.4709	15	0.4025	4	0.8850	0.0	0.0	0.0	333	0.6887	0.0	0.0	0.0	40	0.4469	0.1429	0.0208	0.0364	144	0.5840	0.5	0.0244	0.0465	41	0.7767	0.0	0.0	0.0	8	0.1738	0.0	0.0	0.0	24	0.7487
2.1099	2.0	152	2.0052	0.4388	0.4979	0.3095	0.3817	378	0.5048	0.1190	0.1613	0.1370	31	0.8382	0.0609	0.5833	0.1102	12	0.7734	15	0.5176	4	0.8207	0.5325	0.9339	0.6783	333	0.9186	0.0	0.0	0.0	40	0.5659	0.3571	0.0694	0.1163	144	0.7699	0.5	0.0488	0.0889	41	0.8385	0.0	0.0	0.0	8	0.4631	0.0	0.0	0.0	24	0.7796
1.5835	3.0	228	1.3663	0.5777	0.4690	0.8201	0.5967	378	0.7462	0.0	0.0	0.0	31	0.8730	0.0	0.0	0.0	12	0.9100	15	0.8133	4	0.6306	0.7972	0.8498	0.8227	333	0.9584	0.0	0.0	0.0	40	0.6980	0.2	0.0139	0.0260	144	0.8902	0.0	0.0	0.0	41	0.9466	0.0	0.0	0.0	8	0.8749	0.0	0.0	0.0	24	0.8314
1.3092	4.0	304	1.0934	0.6806	0.5640	0.8624	0.6820	378	0.8593	0.0	0.0	0.0	31	0.8850	0.0	0.0	0.0	12	0.9299	15	0.8156	4	0.6399	0.8944	0.9159	0.9050	333	0.9802	0.0	0.0	0.0	40	0.8137	0.6306	0.4861	0.5490	144	0.9450	0.0	0.0	0.0	41	0.9842	0.0	0.0	0.0	8	0.9250	0.0	0.0	0.0	24	0.9508
0.9523	5.0	380	0.9353	0.7262	0.6149	0.8492	0.7133	378	0.8953	0.0	0.0	0.0	31	0.9026	0.0	0.0	0.0	12	0.9492	15	0.8372	4	0.6399	0.8646	0.9970	0.9261	333	0.9892	0.0	0.0	0.0	40	0.8796	0.7661	0.6597	0.7090	144	0.9474	0.0	0.0	0.0	41	0.9895	0.0	0.0	0.0	8	0.9598	0.0	0.0	0.0	24	0.9965
0.8714	6.0	456	0.7562	0.8039	0.7164	0.9153	0.8037	378	0.9491	0.0	0.0	0.0	31	0.9143	0.0	0.0	0.0	12	0.9499	15	0.8298	4	0.7083	0.925	1.0	0.9610	333	0.9978	1.0	0.35	0.5185	40	0.9170	0.7516	0.7986	0.7744	144	0.9590	1.0	0.3171	0.4815	41	0.9919	0.0	0.0	0.0	8	0.9793	1.0	0.2917	0.4516	24	0.9989
0.7294	7.0	532	0.6222	0.8282	0.7596	0.8862	0.8181	378	0.9575	0.0	0.0	0.0	31	0.9330	0.0	0.0	0.0	12	0.9479	15	0.8359	4	0.8302	0.9276	1.0	0.9624	333	0.9986	1.0	0.375	0.5455	40	0.9634	0.7815	0.8194	0.8	144	0.9655	0.7826	0.8780	0.8276	41	0.9924	0.0	0.0	0.0	8	0.9976	0.9412	0.6667	0.7805	24	0.9993
0.5118	8.0	608	0.5242	0.8534	0.7680	0.9021	0.8297	378	0.9634	0.0	0.0	0.0	31	0.9457	0.0	0.0	0.0	12	0.9656	15	0.8963	4	0.9035	0.9302	1.0	0.9638	333	0.9993	1.0	0.375	0.5455	40	0.9755	0.8873	0.875	0.8811	144	0.9720	0.9091	0.9756	0.9412	41	0.9972	0.0	0.0	0.0	8	0.9991	0.9231	1.0	0.96	24	0.9995
0.4041	9.0	684	0.5220	0.8485	0.8020	0.8571	0.8286	378	0.9552	0.8333	0.3226	0.4651	31	0.9577	0.0	0.0	0.0	12	0.9672	15	0.9258	4	0.8845	0.8582	1.0	0.9237	333	0.9990	0.9667	0.725	0.8286	40	0.9734	0.9487	0.7708	0.8506	144	0.9765	0.9091	0.9756	0.9412	41	0.9977	0.75	0.375	0.5	8	0.9993	0.9231	1.0	0.96	24	0.9997
0.4858	10.0	760	0.4709	0.8748	0.7968	0.9127	0.8508	378	0.9622	0.8333	0.3226	0.4651	31	0.9592	0.0	0.0	0.0	12	0.9721	15	0.9589	4	0.8913	0.9328	1.0	0.9652	333	0.9995	1.0	0.55	0.7097	40	0.9741	0.9690	0.8681	0.9158	144	0.9798	0.9286	0.9512	0.9398	41	0.9982	0.75	0.375	0.5	8	0.9994	0.9231	1.0	0.96	24	0.9999
0.252	11.0	836	0.4155	0.8738	0.7949	0.9127	0.8498	378	0.9694	0.8462	0.3548	0.5	31	0.9737	0.375	0.25	0.3	12	0.9741	15	0.9900	4	0.9608	0.9354	1.0	0.9666	333	0.9996	1.0	0.45	0.6207	40	0.9663	0.9615	0.8681	0.9124	144	0.9811	0.9268	0.9268	0.9268	41	0.9984	0.75	0.375	0.5	8	0.9995	0.9231	1.0	0.96	24	1.0000
0.2958	12.0	912	0.4171	0.8699	0.8354	0.9127	0.8723	378	0.9718	0.8125	0.4194	0.5532	31	0.9773	0.6667	0.3333	0.4444	12	0.9763	15	0.9921	4	0.9518	0.8952	1.0	0.9447	333	0.9997	0.9565	0.55	0.6984	40	0.9705	0.8810	0.7708	0.8222	144	0.9817	0.9268	0.9268	0.9268	41	0.9986	0.8571	0.75	0.8	8	0.9998	0.9231	1.0	0.96	24	0.9997
0.3351	13.0	988	0.4281	0.8786	0.8438	0.8862	0.8645	378	0.9676	0.8421	0.5161	0.64	31	0.9798	0.625	0.4167	0.5	12	0.9788	15	0.9867	4	0.9464	0.9074	1.0	0.9514	333	0.9996	1.0	0.575	0.7302	40	0.9758	0.8865	0.8681	0.8772	144	0.9840	0.9048	0.9268	0.9157	41	0.9984	0.8571	0.75	0.8	8	0.9998	0.9231	1.0	0.96	24	1.0
0.1799	14.0	1064	0.3970	0.8806	0.8159	0.9259	0.8674	378	0.9704	0.8462	0.3548	0.5	31	0.9825	0.625	0.4167	0.5	12	0.9790	15	0.9934	4	0.9976	0.9354	1.0	0.9666	333	0.9997	1.0	0.375	0.5455	40	0.9539	0.9143	0.8889	0.9014	144	0.9859	0.9459	0.8537	0.8974	41	0.9961	0.8571	0.75	0.8	8	0.9998	0.96	1.0	0.9796	24	1.0
0.2573	15.0	1140	0.3927	0.8942	0.8589	0.9180	0.8875	378	0.9713	0.8571	0.5806	0.6923	31	0.9833	0.8333	0.4167	0.5556	12	0.9814	15	0.9899	4	0.9922	0.9276	1.0	0.9624	333	0.9997	1.0	0.55	0.7097	40	0.9706	0.8966	0.9028	0.8997	144	0.9851	0.9474	0.8780	0.9114	41	0.9982	1.0	0.75	0.8571	8	0.9998	0.9231	1.0	0.96	24	1.0
0.1706	16.0	1216	0.3886	0.8835	0.8357	0.9286	0.8797	378	0.9739	0.85	0.5484	0.6667	31	0.9848	0.8333	0.4167	0.5556	12	0.9799	15	0.9940	4	0.9963	0.9171	1.0	0.9554	333	0.9997	1.0	0.475	0.6441	40	0.9615	0.9084	0.8264	0.8655	144	0.9826	0.9487	0.9024	0.925	41	0.9970	1.0	0.75	0.8571	8	0.9998	1.0	1.0	1.0	24	1.0
0.1121	17.0	1292	0.4100	0.8777	0.8540	0.9286	0.8897	378	0.9717	0.8235	0.4516	0.5833	31	0.9849	0.625	0.4167	0.5	12	0.9783	15	0.9931	4	0.9954	0.8904	1.0	0.9420	333	0.9998	1.0	0.625	0.7692	40	0.9721	0.8790	0.7569	0.8134	144	0.9789	1.0	0.8537	0.9211	41	0.9974	1.0	1.0	1.0	8	1.0	1.0	1.0	1.0	24	1.0
0.1414	18.0	1368	0.4740	0.8757	0.8509	0.9206	0.8844	378	0.9646	0.85	0.5484	0.6667	31	0.9854	0.8333	0.4167	0.5556	12	0.9780	15	0.9932	4	0.9966	0.8833	1.0	0.9380	333	0.9996	1.0	0.575	0.7302	40	0.9652	0.8862	0.7569	0.8165	144	0.9758	0.9722	0.8537	0.9091	41	0.9975	1.0	1.0	1.0	8	1.0	1.0	1.0	1.0	24	1.0
0.0935	19.0	1444	0.4503	0.8689	0.8769	0.9233	0.8995	378	0.9722	0.8077	0.6774	0.7368	31	0.9890	0.25	0.4167	0.3125	12	0.9780	15	0.9939	4	0.9983	0.8582	1.0	0.9237	333	0.9997	0.9630	0.65	0.7761	40	0.9524	0.9592	0.6528	0.7769	144	0.9767	0.9737	0.9024	0.9367	41	0.9982	1.0	0.75	0.8571	8	1.0	1.0	1.0	1.0	24	1.0
0.0794	20.0	1520	0.4563	0.8709	0.8886	0.9074	0.8979	378	0.9740	0.875	0.6774	0.7636	31	0.9879	0.7143	0.4167	0.5263	12	0.9795	15	0.9936	4	0.9976	0.8473	1.0	0.9174	333	0.9998	0.9630	0.65	0.7761	40	0.9514	0.8534	0.6875	0.7615	144	0.9779	0.95	0.9268	0.9383	41	0.9996	1.0	1.0	1.0	8	1.0	1.0	1.0	1.0	24	1.0
0.1209	21.0	1596	0.5927	0.8505	0.8014	0.9286	0.8603	378	0.9639	0.85	0.5484	0.6667	31	0.9857	0.8333	0.4167	0.5556	12	0.9813	15	0.9939	4	0.9956	0.8513	0.9970	0.9184	333	0.9997	1.0	0.375	0.5455	40