saved_model_git-base开源视觉语言模型 - 免费部署精准生成图像描述

Home

Saved Model Git Base

Developed by holipori

基于microsoft/git-base在图像文件夹数据集上微调的视觉语言模型，主要用于图像描述生成任务

图像生成文本

Transformers

OtherOpen Source License:MIT #图像描述生成 #多模态模型 #微调优化

Downloads 13

Release Time : 5/22/2023

Model Overview

该模型是基于GIT架构的视觉语言模型，经过微调后能够根据输入图像生成相关文本描述。在评估中表现出良好的文本生成能力。

Model Features

多模态理解能力

能够同时处理视觉和语言信息，理解图像内容并生成相关描述

微调优化

在特定图像数据集上进行微调，提升了在目标领域的表现

评估指标全面

使用多种文本生成评估指标(Rouge, Bleu, Meteor等)进行综合评估

Model Capabilities

图像理解

文本生成

多模态处理

图像描述生成

Use Cases

辅助技术

视觉辅助描述

为视障人士生成图像内容的文字描述

内容创作

社交媒体内容生成

自动为上传的图片生成描述文字

🚀 saved_model_git-base

本模型是 microsoft/git-base 在 imagefolder 数据集上的微调版本。它在评估集上取得了以下成果：

损失值：0.2473
字错误率得分：2.7325
Rouge1：0.3059
Rouge2：0.1738
Rougel：0.2760
Rougelsum：0.2759
Meteor：0.4991
Bleu：0.1058
Bleu1：0.2113
Bleu2：0.1272
Bleu3：0.0824
Bleu4：0.0566

📚 详细文档

模型描述

更多信息待补充。

预期用途与限制

更多信息待补充。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练期间使用了以下超参数：

学习率：5e - 05
训练批次大小：112
评估批次大小：112
随机种子：42
梯度累积步数：2
总训练批次大小：224
优化器：Adam，β=(0.9, 0.999)，ε = 1e - 08
学习率调度器类型：线性
训练轮数：30
混合精度训练：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	字错误率得分	Rouge1	Rouge2	Rougel	Rougelsum	Meteor	Bleu	Bleu1	Bleu2	Bleu3	Bleu4
0.774	1.7	1000	0.2771	3.5978	0.2206	0.1145	0.1981	0.1981	0.4163	0.0774	0.1712	0.0965	0.0580	0.0375
0.2763	3.4	2000	0.2537	3.6165	0.2273	0.1237	0.2050	0.2050	0.4374	0.0840	0.1757	0.1032	0.0642	0.0428
0.2567	5.11	3000	0.2423	3.5963	0.2317	0.1299	0.2105	0.2105	0.4500	0.0881	0.1790	0.1074	0.0681	0.0460
0.2447	6.81	4000	0.2349	3.5915	0.2352	0.1336	0.2136	0.2136	0.4573	0.0907	0.1812	0.1100	0.0706	0.0481
0.2357	8.51	5000	0.2297	3.5867	0.2364	0.1364	0.2158	0.2158	0.4617	0.0927	0.1820	0.1120	0.0726	0.0499
0.2287	10.21	6000	0.2258	3.5781	0.2393	0.1392	0.2183	0.2183	0.4681	0.0947	0.1837	0.1139	0.0745	0.0515
0.2228	11.91	7000	0.2223	3.5628	0.2413	0.1419	0.2208	0.2208	0.4734	0.0965	0.1853	0.1158	0.0762	0.0531
0.2173	13.62	8000	0.2200	3.5171	0.2459	0.1452	0.2249	0.2249	0.4779	0.0976	0.1860	0.1167	0.0773	0.0540
0.2132	15.32	9000	0.2184	3.5207	0.2461	0.1464	0.2253	0.2254	0.4804	0.0994	0.1885	0.1187	0.0789	0.0553
0.2085	17.02	10000	0.2174	3.5189	0.2484	0.1468	0.2259	0.2259	0.4842	0.0998	0.1895	0.1190	0.0791	0.0555
0.2027	18.72	11000	0.2179	3.2891	0.2656	0.1571	0.2411	0.2411	0.4952	0.1036	0.1970	0.1233	0.0820	0.0577
0.1961	20.43	12000	0.2213	3.3457	0.2610	0.1534	0.2367	0.2367	0.4900	0.1025	0.1962	0.1223	0.0810	0.0568
0.1886	22.13	13000	0.2260	2.9878	0.2914	0.1696	0.2628	0.2628	0.5028	0.1053	0.2040	0.1257	0.0828	0.0579
0.1797	23.83	14000	0.2305	3.0250	0.2874	0.1668	0.2597	0.2597	0.4987	0.1053	0.2051	0.1259	0.0827	0.0575
0.1713	25.53	15000	0.2376	2.7048	0.3125	0.1797	0.2822	0.2822	0.5062	0.1078	0.2125	0.1291	0.0843	0.0583
0.1646	27.23	16000	0.2438	2.7129	0.3087	0.1761	0.2786	0.2785	0.5021	0.1066	0.2120	0.1281	0.0831	0.0573
0.159	28.94	17000	0.2473	2.7325	0.3059	0.1738	0.2760	0.2759	0.4991	0.1058	0.2113	0.1272	0.0824	0.0566