Biolingual

🚀 BioLingual

人間の言語監督を用いた生物音響学のための転移可能なモデルであるBioLingualのモデルカードです。このモデルは、対照的な言語 - 音声の事前学習に基づく生物音響学のための音声 - テキストモデルです。

🚀 クイックスタート

BioLingualは、人間の言語監督を用いた生物音響学のための転移可能なモデルです。このモデルは、対照的な言語 - 音声の事前学習に基づいており、生物音響学のゼロショット音声分類や、生物音響学のタスクに対する微調整に使用することができます。

✨ 主な機能

• 生物音響学のゼロショット音声分類が可能です。
• 生物音響学のタスクに対する微調整が可能です。

💻 使用例

基本的な使用法

ゼロショット音声分類を行う

pipelineを使用する

from datasets import load_dataset
from transformers import pipeline

dataset = load_dataset("ashraq/esc50")
audio = dataset["train"]["audio"][-1]["array"]

audio_classifier = pipeline(task="zero-shot-audio-classification", model="davidrrobinson/BioLingual")
output = audio_classifier(audio, candidate_labels=["Sound of a sperm whale", "Sound of a sea lion"])
print(output)
>>> [{"score": 0.999, "label": "Sound of a dog"}, {"score": 0.001, "label": "Sound of vaccum cleaner"}]

高度な使用法

モデルを実行する

ClapModelを使用して音声とテキストの埋め込みを取得することもできます。

CPUでモデルを実行する

from datasets import load_dataset
from transformers import ClapModel, ClapProcessor

librispeech_dummy = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio_sample = librispeech_dummy[0]

model = ClapModel.from_pretrained("laion/clap-htsat-unfused")
processor = ClapProcessor.from_pretrained("laion/clap-htsat-unfused")

inputs = processor(audios=audio_sample["audio"]["array"], return_tensors="pt")
audio_embed = model.get_audio_features(**inputs)

GPUでモデルを実行する

from datasets import load_dataset
from transformers import ClapModel, ClapProcessor

librispeech_dummy = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio_sample = librispeech_dummy[0]

model = ClapModel.from_pretrained("laion/clap-htsat-unfused").to(0)
processor = ClapProcessor.from_pretrained("laion/clap-htsat-unfused")

inputs = processor(audios=audio_sample["audio"]["array"], return_tensors="pt").to(0)
audio_embed = model.get_audio_features(**inputs)