Blip2zh Chatglm 6b

🚀 blip2zh-chatglm-6b模型卡片

blip2zh-chatglm-6b是一個基於blip2訓練的中文多模態聊天模型，具備基本的圖像理解能力。在純文本對話中，其表現與原始chatglm保持一致。不過，由於當前模型僅完成了blip2兩階段圖文對齊預訓練，未經過vqa或指令微調等下游任務訓練，所以仍可能生成不符合預期的內容。

🚀 快速開始

模型參數涵蓋了圖像編碼器、blip2和chatglm - 6b。加載模型及推理可參考api的實現。此外，還有一些示例可供參考。

✨ 主要特性

• 基於blip2訓練，擁有基本的圖像理解能力。
• 在純文本對話中，行為與原始chatglm一致。

📚 詳細文檔

🔍 模型詳情

模型描述

blip2zh-chatglm-6b是基於blip2訓練的中文多模態聊天模型，具備基本的圖像理解能力。由於blip2的訓練方式不會對語言模型進行微調，所以在純文本對話中的表現和原始chatglm一致。

⚠️ 重要提示

目前模型僅經過blip2兩階段圖文對齊預訓練，未進行vqa或者指令微調等具體下游任務的訓練，因此容易生成不符合預期的內容。

模型來源

• 訓練代碼：blip2訓練代碼，基於LAVIS
• webui：一個由gradio實現的webui
• api：一個由fastapi實現的api服務，可部署在本地，同時也支持一些其他類型的本地可部署語言模型。

🛠️ 使用場景

模型參數包含圖像編碼器、blip2和chatglm - 6b。加載模型及推理可參考api的實現，還有一些示例。

⚠️ 侷限性

受限於中文數據集，當前模型的圖像理解能力有限，可能產生無關或錯誤的內容。此外，目前未引入多輪對話訓練以及指令微調，多輪對話可能受上下文干擾，且對話效果也受限於chatglm - 6b本身。

📈 訓練詳情

訓練數據

• laion-2b-chinese：僅選取了其中clip分數較高的670k圖文對並採樣了部分數據進行訓練。
• coco-zh
• flickr8k-zh

訓練過程

基於blip2的兩階段訓練方法。

🎉 演示