Duck And Cover Genre Encoder

🚀 Duck and Cover - Genre Autoencoder

このモデルは、duck_and_coverリポジトリの一部です。このリポジトリの目的は、異なる種類のGANを使用して、リリース年、アーティストやアルバム名、ジャンルなどのいくつかの条件に基づいてアルバムカバーを生成することです。このエンコーダがカバーする可能なジャンルのリストはこちらで確認できます。

トレーニングには、prajjwal1/bert-miniを、前述のリストから取得した466,045枚の異なるジャンルの組み合わせのアルバムのリストでファインチューニングし、ジャンル情報を埋め込みました。一方、単純な線形層をトレーニングして、埋め込みから与えられたジャンルをデコードして予測しました。アルバムは、Spotify APIを使用して取得した実世界のアルバムです。このモデルの背後にある意図は、ハードロックはある意味でロックに関連しており、ポップロックもロックに関連しており、多くの音楽ジャンルが接頭辞や接尾辞を使用して記述されているため、BERTトークナイザーがこの情報を捉えることができるというものです。 モデルはトレーニング中に133,155件で検証され、66,578件でテストされました。テストセットでは98.29％の完全一致率、検証セットでは98.24％の完全一致率を達成しており、このモデルは最大3452のラベルを埋め込むことができ、ほとんどのアルバムには最大5つのラベルしかないことを考えると、非常に高い精度です。

🚀 クイックスタート

このモデルは、以下の入力を使用して、ジャンルを256次元の空間に埋め込むために使用できます。

基本的な使用法

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("mnne/duck-and-cover-genre-encoder")
tokenizer = AutoTokenizer.from_pretrained("mnne/duck-and-cover-genre-encoder")

genres = " , ".join(["classic soul", "memphis soul", "soul", "soul blues", "southern soul"])

x = tokenizer([genres], return_tensors="pt")

output = model(**x)

```markdown
## ✨ 主な機能
- 様々な条件（リリース年、アーティストやアルバム名、ジャンルなど）に基づいてアルバムカバーを生成する。
- 多くの音楽ジャンルの関連性を捉えることができる。
- 高い完全一致率を達成している。

## 📚 ドキュメント
- このエンコーダがカバーする可能なジャンルのリストは[こちら](https://github.com/mcschmitz/duck_and_cover/blob/master/data/genres.txt)で確認できます。
- モデルはトレーニング中に133,155件で検証され、66,578件でテストされました。
- テストセットでは98.29％の完全一致率、検証セットでは98.24％の完全一致率を達成しています。

## 🔧 技術詳細
- トレーニングには[prajjwal1/bert-mini](https://huggingface.co/prajjwal1/bert-mini)をファインチューニングしてジャンル情報を埋め込みました。
- 単純な線形層をトレーニングして、埋め込みから与えられたジャンルをデコードして予測しました。
- アルバムは、Spotify APIを使用して取得した実世界のアルバムです。