M BERT Base ViT B

🚀 M-BERT Base ViT-B

M-BERT Base ViT-Bは、CLIPのビジョンエンコーダと連携して使用できるモデルです。多言語に対応しており、特定の言語の埋め込み空間をCLIPのテキストエンコーダに合わせるように調整されています。

🚀 クイックスタート

このモデルを元のCLIPビジョンエンコーダと共に使用するには、Multilingual-CLIPのGithubからコードと追加の線形重みをダウンロードする必要があります。

これが完了したら、以下のコードでモデルをロードして使用できます。

基本的な使用法

from src import multilingual_clip

model = multilingual_clip.load_model('M-BERT-Base-ViT')
embeddings = model(['Älgen är skogens konung!', 'Wie leben Eisbären in der Antarktis?', 'Вы знали, что все белые медведи левши?'])
print(embeddings.shape)
# Yields: torch.Size([3, 640])

📚 ドキュメント

モデルについて

BERT-base-multilingualを調整して、69言語の埋め込み空間を、ViT-B/32ビジョンエンコーダに付属するCLIPテキストエンコーダの埋め込み空間に合わせたモデルです。
事前学習時に使用された100言語の完全なリストはこちらで確認でき、微調整時に使用された4069言語のリストはSupportedLanguages.mdで確認できます。

訓練データ

訓練データペアは、GCC + MSCOCO + VizWizの組み合わせの説明から各言語について40kの文をサンプリングし、それを対応する言語に翻訳することで生成されました。 すべての翻訳はAWS翻訳サービスを使用して行われました。現在、これらの翻訳の品質は分析されていませんが、69言語間で品質が異なると考えられます。