M BERT Distil 40

🚀 M-BERT Distil 40

事前学習された多言語モデルをCLIPの埋め込み空間に合わせて調整した、40言語対応の言語モデルです。

🚀 クイックスタート

このモデルを元のCLIPビジョンエンコーダーとともに使用するには、Multilingual-CLIPのGitHubリポジトリからコードと追加の線形重みをダウンロードする必要があります。

ダウンロードが完了したら、以下のコードでモデルをロードして使用できます。

from src import multilingual_clip

model = multilingual_clip.load_model('M-BERT-Distil-40')
embeddings = model(['Älgen är skogens konung!', 'Wie leben Eisbären in der Antarktis?', 'Вы знали, что все белые медведи левши?'])
print(embeddings.shape)
# Yields: torch.Size([3, 640])

✨ 主な機能

このモデルは、distilbert-base-multilingualを調整して、40言語の埋め込み空間を、Res50x4ビジョンエンコーダーに付随するCLIPテキストエンコーダーの埋め込み空間に合わせたものです。

事前学習時に使用された100言語の完全なリストはこちらで確認でき、微調整時に使用された40言語のリストはSupportedLanguages.mdに記載されています。

学習データペアは、GCC + MSCOCO + VizWizの組み合わせの説明から各言語について40,000文をサンプリングし、対応する言語に翻訳することで生成されました。

すべての翻訳はAWS翻訳サービスを使用して行われました。現在、これらの翻訳の品質は分析されていませんが、40言語間で品質が異なると考えられます。

📚 ドキュメント

これらの結果はGitHubで確認できます。

非厳密な定性評価によると、フランス語、ドイツ語、スペイン語、ロシア語、スウェーデン語、ギリシャ語については、ほとんどのケースで相当な結果が得られるようです。ただし、ギリシャ語では幸せな人を認識できないケースがあるようです。

事前学習には含まれているが微調整には含まれていないカンナダ語でテストした場合、結果はほぼランダムに近いものとなりました。