Blip2 Opt 6.7b Coco

🚀 BLIP-2, OPT-6.7b，在COCO上微調

BLIP-2模型藉助了OPT-6.7b（一個擁有67億參數的大語言模型）。該模型由Li等人在論文BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models中提出，並首次在此倉庫中發佈。

聲明：發佈BLIP-2的團隊並未為此模型撰寫模型卡片，因此此模型卡片由Hugging Face團隊撰寫。

✨ 主要特性

• 多任務支持：可用於圖像描述、視覺問答和類聊天對話等任務。
• 架構設計：由類CLIP圖像編碼器、查詢Transformer（Q-Former）和大語言模型組成。
• 遷移學習：圖像編碼器和大語言模型的權重從預訓練檢查點初始化並保持凍結，僅訓練查詢Transformer。

📚 詳細文檔

模型描述

BLIP-2由3個模型組成：類CLIP圖像編碼器、查詢Transformer（Q-Former）和大語言模型。

作者從預訓練檢查點初始化圖像編碼器和大語言模型的權重，並在訓練查詢Transformer時保持它們凍結。查詢Transformer是一個類似BERT的Transformer編碼器，它將一組“查詢令牌”映射到查詢嵌入，以彌合圖像編碼器和大語言模型嵌入空間之間的差距。

該模型的目標很簡單，即在給定查詢嵌入和先前文本的情況下預測下一個文本令牌。

這使得該模型可用於以下任務：

• 圖像描述
• 視覺問答（VQA）
• 通過將圖像和先前對話作為提示輸入模型進行類聊天對話

直接使用和下游使用

你可以使用原始模型在給定圖像和可選文本的情況下進行條件文本生成。請參閱模型中心，查找針對你感興趣的任務進行微調的版本。

偏差、風險、侷限性和倫理考量

BLIP2-OPT使用現成的OPT作為語言模型，它繼承了Meta模型卡片中提到的相同風險和侷限性。

與其他因訓練數據多樣性（或缺乏多樣性）對模型質量產生下游影響的大語言模型一樣，OPT-175B在偏差和安全性方面存在侷限性。OPT-175B在生成多樣性和幻覺方面也可能存在質量問題。一般來說，OPT-175B無法避免困擾現代大語言模型的諸多問題。

BLIP2在從互聯網收集的圖像文本數據集（例如LAION）上進行了微調。因此，該模型本身可能容易生成不適當的內容，或複製基礎數據中固有的偏差。

BLIP2尚未在實際應用中進行測試，不應直接部署到任何應用程序中。研究人員應首先仔細評估該模型在特定部署環境中的安全性和公平性。

倫理考量

此版本僅用於支持學術論文的研究目的。我們的模型、數據集和代碼並非專門為所有下游用途設計或評估。我們強烈建議用戶在部署此模型之前評估並解決與準確性、安全性和公平性相關的潛在問題。我們鼓勵用戶考慮人工智能的常見侷限性，遵守適用法律，並在選擇用例時採用最佳實踐，特別是在錯誤或濫用可能對人們的生活、權利或安全產生重大影響的高風險場景中。有關用例的更多指導，請參閱我們的使用協議和人工智能使用協議。

💻 使用示例

有關代碼示例，請參考文檔。

📄 許可證

本項目採用MIT許可證。