Mms Lid 1024

🚀 Massively Multilingual Speech (MMS) - Finetuned LID

このチェックポイントは、音声言語識別（LID）用にファインチューニングされたモデルで、FacebookのMassive Multilingual Speechプロジェクトの一部です。このモデルは、Wav2Vec2アーキテクチャに基づいており、生の音声入力を1024の出力クラス（各クラスは言語を表す）の確率分布に分類します。

🚀 クイックスタート

このMMSチェックポイントは、Transformersを使用して音声の話されている言語を識別するために利用できます。このモデルは、以下の1024の言語を認識することができます。

まずは、簡単な例を見てみましょう。

最初に、transformersと他のいくつかのライブラリをインストールします。

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

MMSを使用するには、少なくともtransformers >= 4.30がインストールされている必要があります。もし4.30バージョンがまだPyPIに公開されていない場合は、ソースからtransformersをインストールすることを確認してください。

pip install git+https://github.com/huggingface/transformers.git

次に、datasetsを介していくつかの音声サンプルをロードします。音声データが16000kHzにサンプリングされていることを確認してください。

from datasets import load_dataset, Audio

# English
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# Arabic
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "ar", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
ar_sample = next(iter(stream_data))["audio"]["array"]

次に、モデルとプロセッサをロードします。

from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

model_id = "facebook/mms-lid-1024"

processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

これで、音声データを処理し、処理された音声データをモデルに渡して言語に分類することができます。これは、ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognitionのような通常のWav2Vec2音声分類モデルと同じように行います。

# English
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'eng'

# Arabic
inputs = processor(ar_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'ara'

チェックポイントがサポートするすべての言語を表示するには、次のように言語IDを出力します。

processor.id2label.values()

アーキテクチャの詳細については、公式ドキュメントを参照してください。

✨ 主な機能

このモデルは1024の言語をサポートしています。以下をクリックすると、このチェックポイントがサポートするすべての言語をISO 639-3コードで表示できます。 言語とそのISO 649-3コードの詳細は、MMS言語カバレッジ概要で確認できます。

📚 ドキュメント

📄 ライセンス

このモデルはCC-BY-NC 4.0ライセンスの下で提供されています。

📄 追加リンク

• ブログ記事
• Transformersドキュメント
• 論文
• GitHubリポジトリ
• 他のMMSチェックポイント
• MMSベースチェックポイント:
  • facebook/mms-1b
  • facebook/mms-300m
• 公式スペース