Test Push

🚀 distilvit

distilvit是一個正在開發中的模型，它基於特定的基礎模型進行微調，可用於圖像到文本的轉換任務，在圖像描述生成等場景具有重要價值。

🚀 快速開始

該模型是對以下基礎模型的微調版本：

• 用於圖像編碼器的VIT模型：https://huggingface.co/google/vit-base-patch16-224-in21k
• 用於文本解碼器的Distilled GPT - 2模型：https://huggingface.co/distilbert/distilgpt2

✨ 主要特性

• 多數據集訓練：此模型在多個數據集上進行了訓練，包括Flickr30k（https://huggingface.co/datasets/nlphuji/flickr30k ）和COCO 2017（https://cocodataset.org ），你可以使用3083a3cef6e3c8dd90df3f088074bbe836b0f403提交獲取該檢查點。之後，它還在Flickr30k debiased（https://huggingface.co/datasets/Mozilla/flickr30k-transformed-captions ）和DocOrNot（https://huggingface.co/datasets/Mozilla/docornot ）上進行了進一步微調。
• 代碼開源：你可以在https://github.com/mozilla/distilvit 找到用於創建該模型的代碼。

📚 詳細文檔

框架版本

• Transformers 4.40.2
• Pytorch 2.3.0+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1

模型指標

評估結果

📄 許可證

本模型採用Apache - 2.0許可證。