M BERT Distil 40

🚀 M-BERT Distil 40

M-BERT Distil 40是一個經過微調的多語言模型，它將distilbert-base-multilingual的嵌入空間與CLIP文本編碼器的嵌入空間相匹配，支持40種語言，可與原始CLIP視覺編碼器結合使用，為多語言圖像文本處理提供了強大的能力。

🚀 快速開始

要將此模型與原始CLIP視覺編碼器一起使用，你需要從Multilingual-CLIP Github下載代碼和額外的線性權重。

完成上述操作後，你可以使用以下代碼加載並使用該模型：

from src import multilingual_clip

model = multilingual_clip.load_model('M-BERT-Distil-40')
embeddings = model(['Älgen är skogens konung!', 'Wie leben Eisbären in der Antarktis?', 'Вы знали, что все белые медведи левши?'])
print(embeddings.shape)
# 輸出: torch.Size([3, 640])

✨ 主要特性

• 多語言支持：支持40種語言，其預訓練階段使用了100種語言，可滿足不同語言場景的需求。
• 匹配嵌入空間：經過微調，使模型的嵌入空間與CLIP文本編碼器的嵌入空間相匹配，便於與CLIP視覺編碼器結合使用。

📚 詳細文檔

模型概述

M-BERT Distil 40是基於distilbert-base-multilingual進行微調的模型，目的是將其嵌入空間與伴隨Res50x4視覺編碼器的CLIP文本編碼器的嵌入空間相匹配。

支持語言

• 預訓練語言：預訓練階段使用的100種語言的完整列表可點擊此處查看。
• 微調語言：微調階段使用的40種語言的列表可在SupportedLanguages.md中找到。

訓練數據

訓練數據對是通過從GCC、MSCOCO和VizWiz的組合描述中為每種語言採樣40k個句子，並將它們翻譯成相應的語言而生成的。所有翻譯均使用AWS翻譯服務完成，目前尚未對這些翻譯的質量進行分析，但可以假設不同語言的翻譯質量有所不同。

🔧 技術細節

評估結果

評估結果可在Github上查看。

• 非嚴格的定性評估表明，對於法語、德語、西班牙語、俄語、瑞典語和希臘語，該模型在大多數情況下似乎能產生可觀的結果。不過，在識別希臘語中的快樂人物方面表現不佳。
• 在對卡納達語（預訓練時包含但微調時未包含的語言）進行測試時，模型的表現接近隨機。

信息表格