blip2zh - chatglm-6bオープンソースマルチモーダルチャットモデル - 画像理解と高品質なテキスト対話をサポート

ホーム

Blip2zh Chatglm 6b

Xipotzzzによって開発

BLIP2でトレーニングされた中国語マルチモーダルチャットモデルで、基本的な画像理解能力を備え、純粋なテキスト対話のパフォーマンスはChatGLMと一致します

テキスト生成画像

Transformers

複数言語対応#中国語マルチモーダル対話 #画像テキストアライメント #ChatGLM統合

ダウンロード数 22

リリース時間 : 4/12/2023

モデル概要

BLIP2ビジュアルエンコーダーとChatGLM言語モデルを組み合わせた中国語マルチモーダルモデルで、画像理解とテキスト対話をサポートします

モデル特徴

マルチモーダル理解

視覚と言語モダリティを組み合わせ、画像内容の理解とテキスト対話を実現

中国語最適化

中国語シナリオ向けに特別に最適化され、中国語トレーニングデータを使用

モジュール設計

ビジュアルエンコーダーと言語モデルを分離してトレーニングし、ChatGLMの元のテキスト能力を維持

モデル能力

画像内容理解

中国語マルチターン対話

クロスモーダル推論

使用事例

インテリジェントカスタマーサービス

製品画像相談

ユーザーが製品画像をアップロードして関連情報を取得

モデルは画像内容を認識し、関連する製品説明を生成できます

教育支援

図文学習アシスタント

教材のイラストを解析し、関連する質問に答える

学生が画像とテキストの関連情報を理解するのを支援

🚀 blip2zh-chatglm-6b モデルカード

blip2zh-chatglm-6bは、blip2をベースに訓練された中国語のマルチモーダルチャットモデルです。基本的な画像理解能力を備えています。blip2の訓練方法では言語モデルを微調整しないため、純粋なテキスト対話における挙動は、元のchatglmと同じに保たれます。

🚀 クイックスタート

blip2zh-chatglm-6bモデルのパラメータには、画像エンコーダ、blip2、chatglm-6bが含まれています。モデルの読み込みと推論については、apiの実装を参考にすることができます。また、いくつかのexampleも用意されています。

✨ 主な機能

基本的な画像理解能力を備えた中国語のマルチモーダルチャットモデルです。
純粋なテキスト対話では、元のchatglmと同じ挙動を示します。

📚 ドキュメント

モデルの詳細

モデルの説明

⚠️ 重要提示 現在のモデルは、blip2の2段階の画像-テキストアライメント事前訓練のみを行っており、vqaや命令微調整などの具体的な下流タスクの訓練は含まれていません。そのため、依然として予期しない内容を生成する可能性があります。

プロパティ	詳細
ベースモデル	bert-base-chinese
ビジョンエンコーダ	eva-clip-vit-g
言語モデル	chatglm-6b at commit

モデルのソース

訓練コード: blip2の訓練コードで、LAVISをベースにしています。
webui: gradioで実装されたwebuiです。
api: fastapiで実装されたapiサービスで、ローカルにデプロイでき、他のタイプのローカルデプロイ可能な言語モデルもサポートしています。

モデルの使用方法

モデルパラメータには、画像エンコーダ、blip2、chatglm-6bが含まれています。モデルの読み込みと推論については、apiの実装を参考にすることができます。また、いくつかのexampleも用意されています。

モデルの制限事項

中国語のデータセットに制限されており、現在の画像理解能力は依然として限られており、無関係または誤った内容を生成する可能性があります。現在、マルチラウンド対話訓練や命令微調整は導入されていません。マルチラウンド対話では、コンテキストの干渉を受ける可能性があります。また、chatglm-6b自体の対話効果にも制限されています。