Clip Italian

🚀 イタリア語版CLIP

我々は、いくつかの工夫を施すことで、わずか140万個の学習サンプルで競争力のあるイタリア語版CLIPモデルを微調整することに成功しました。当社のイタリア語版CLIPモデルは、dbmdzによって提供されるイタリア語版BERTモデルとOpenAIのビジョントランスフォーマーをベースに構築されています。

すぐにモデルをテストしたいですか？デモアプリケーションにアクセスするだけで、すぐに試すことができます。デモには、学習の工夫から最も印象的な結果まで、プロジェクトのすべての詳細が含まれています！

論文: Contrastive Language-Image Pre-training for the Italian Language

✨ 主な機能

• わずか140万個の学習サンプルで微調整されたイタリア語版CLIPモデル
• イタリア語版BERTとOpenAIのビジョントランスフォーマーをベースに構築
• デモアプリケーションですぐにモデルをテストできる

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

ドキュメントに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

我々は、4つの主要なデータソースを考慮しました。

• WIT は、Wikipediaから収集された画像とキャプションのデータセットです（Srinivasan et al., 2021 を参照）。
• MSCOCO-IT。この画像とキャプションのデータセットは、Scaiella et al., 2019 の研究に由来します。
• Conceptual Captions。この画像とキャプションのデータセットは、Sharma et al., 2018 の研究に由来します。
• La Foto del Giorno。この画像とキャプションのデータセットは、著名なイタリアのオンライン新聞 Il Post から収集されています。

我々は、より良いデータ拡張、戦略的な学習選択（元のCLIP論文よりもはるかに少ないデータを使用）、およびバックボーンの凍結による事前学習を行いました。詳細については、デモ を参照してください。

実験

定量的評価

我々のイタリア語版CLIPモデルの性能をより良く理解するために、実験的評価を行いました。これはイタリア語での最初のCLIPベースのモデルであるため、多言語CLIPモデルを比較のベースラインとして使用しました。

mCLIP

多言語CLIP（以降、mCLIP）は、Nils Reimers によって sentence-transformer ライブラリで導入されたモデルです。mCLIPは、多言語知識蒸留を通じて作成された多言語エンコーダに基づいています（Reimers et al., 2020 を参照）。

タスク

我々は、2つの異なるタスクを選択しました。

• 画像検索
• ゼロショット画像分類

再現性

両方の実験は非常に再現しやすいはずです。我々は2つの結果を計算するために使用した2つのColabノートブックを共有しています。

• 画像検索
• ImageNetゼロショット評価

画像検索

この実験は、MSCOCO-IT検証セット（学習には使用していません）に対して実行されます。キャプションを入力として与えられると、MSCOCO-IT検証セット内で最も類似した画像を検索します。評価指標として、MRR@Kを使用します。

確かに、我々は学習にMSCOCO-ITを使用しているため、これが有利になる可能性があります。しかし、元のCLIPモデルは4億枚の画像で学習されており（その中にはMSCOCOの画像も含まれている可能性があります）。

ゼロショット画像分類

この実験は、OpenAIによって実行された元のゼロショット画像分類の実験を再現しています。これを行うために、DeepLを使用してImageNetの画像ラベルを翻訳しました。異なるレベルでの精度を計算することで、モデルを評価します。

我々の結果は、CLIP-イタリア語版が非常に競争力があり、テストした2つの異なるタスクでmCLIPを上回っていることを確認しています。ただし、我々の結果は元のOpenAIの論文で示された結果よりも低いことに注意してください（Radford et al., 2021 を参照）。しかし、我々の結果がmCLIPによって得られた結果と一致していることを考えると、翻訳された画像ラベルが最終的なスコアに影響を与えている可能性があります。

🔧 技術詳細

ドキュメントに具体的な技術的詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このプロジェクトは、GPL-3.0ライセンスの下で提供されています。