Altclip

🚀 AltCLIP

このモデルは、より優れたバイリンガルCLIPモデルを訓練するためのシンプルで効率的な方法を提供します。AltCLIPは、Stable Diffusiosnをベースに訓練され、WuDaoデータセットとLIAONのデータを使用しています。

✨ 主な機能

概要

我々は、より優れたバイリンガルCLIPモデルを訓練するためのシンプルで効率的な方法を提案し、それをAltCLIPと名付けました。AltCLIPは Stable Diffusiosn をベースに訓練されており、訓練データは WuDaoデータセット と LIAON から取得されています。

AltCLIPモデルは、本プロジェクトのAltDiffusionモデルをサポートすることができます。AltDiffusionモデルの詳細については、このチュートリアル を参照してください。

モデルコードは FlagAI でオープンソース化されており、重みは modelhub にあります。また、微調整、推論、検証のスクリプトも提供しているので、ぜひ試してみてください。

引用

AltCLIPに関する詳細は、関連レポートを参照してください。もしこの研究があなたの作業に役立つ場合は、以下のように引用してください。

@article{https://doi.org/10.48550/arxiv.2211.06679,
  doi = {10.48550/ARXIV.2211.06679},
  url = {https://arxiv.org/abs/2211.06679},
  author = {Chen, Zhongzhi and Liu, Guang and Zhang, Bo-Wen and Ye, Fulong and Yang, Qinghong and Wu, Ledell},
  keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences},
  title = {AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

訓練

訓練には2つのフェーズがあります。 平行知識蒸留フェーズでは、平行コーパスのテキストのみを使用して蒸留を行います（平行コーパスは、画像テキストペアよりも取得が容易で、数も多いです）。バイリンガル比較学習フェーズでは、少数の中国語 - 英語の画像 - テキストペア（合計約200万）を使用して、テキストエンコーダを画像エンコーダにより適合させます。

下流性能

可視化結果

AltCLIPをベースに、AltDiffusionモデルも開発しています。可視化結果は以下の通りです。

💻 使用例

基本的な使用法

from PIL import Image
import requests

# transformers version >= 4.21.0
from modeling_altclip import AltCLIP
from processing_altclip import AltCLIPProcessor

# now our repo's in private, so we need `use_auth_token=True`
model = AltCLIP.from_pretrained("BAAI/AltCLIP")
processor = AltCLIPProcessor.from_pretrained("BAAI/AltCLIP")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

📄 ライセンス

このモデルは、CreativeML OpenRAIL-Mライセンスの下で公開されています。詳細は こちら を参照してください。

⚠️ 重要提示

このモデルを取得する前に、もう1つの手順があります。このモデルはオープンアクセスであり、すべての人が利用できますが、CreativeML OpenRAIL-Mライセンスによって、権利と使用方法がさらに明確に規定されています。

1. このモデルを使用して、違法または有害な出力やコンテンツを意図的に生成または共有することはできません。
2. BAAIは、あなたが生成した出力に対する権利を主張しません。あなたは自由にそれらを使用できますが、その使用については、ライセンスに定められた規定に違反しないように責任を負う必要があります。
3. あなたは、重みを再配布し、モデルを商用および/またはサービスとして使用することができます。その場合、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンス全体を注意深く読んでください）。

以下の「アクセスリポジトリ」をクリックすることで、あなたの連絡先情報（メールアドレスとユーザー名）がモデルの作成者と共有されることに同意するものとみなされます。

💡 使用建议

コードは FlagAI AltCLIP からダウンロードしてください。