Vit Base Patch16 224 Distilgpt2

🚀 distilvit

distilvit是一個正在開發中的模型，它基於特定的基礎模型進行微調，可用於圖像到文本的轉換任務，如為圖像生成描述性文字，在圖像字幕生成等場景具有重要價值。

🚀 快速開始

此模型仍在開發中，它是基於以下基礎模型的微調版本：

• 用於圖像編碼器的VIT模型：https://huggingface.co/google/vit-base-patch16-224-in21k
• 用於文本解碼器的Distilled GPT - 2模型：https://huggingface.co/distilbert/distilgpt2

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

訓練數據

該模型在以下數據集上進行了訓練：

• Flickr30k : https://huggingface.co/datasets/nlphuji/flickr30k
• COCO 2017: https://cocodataset.org

你可以使用3083a3cef6e3c8dd90df3f088074bbe836b0f403提交獲取該檢查點。

之後，它又在以下數據集上進行了進一步微調：

• Flickr30k debiased
• DocOrNot
• Alt Text Validation

對於最後一個數據集，我們的團隊使用checkvite工具對模型生成的替代文本進行了註釋修正。

模型代碼

你可以在以下鏈接找到用於創建該模型的代碼：https://github.com/mozilla/distilvit

模型指標

🔧 技術細節

文檔未提供具體技術實現細節，故跳過此章節。

📄 許可證

本模型使用的許可證為apache - 2.0。