Mms 1b L1107

🚀 大規模多言語音声 (MMS) - ファインチューニング済み自動音声認識 - L1107

このチェックポイントは、多言語自動音声認識 (ASR) 用にファインチューニングされたモデルで、Facebookの 大規模多言語音声 (Massive Multilingual Speech) プロジェクト の一部です。このチェックポイントは Wav2Vec2アーキテクチャ に基づいており、アダプターモデルを使用して1000以上の言語を文字起こしします。このチェックポイントは 10億個のパラメータ で構成され、facebook/mms - 1b から1107の言語でファインチューニングされています。

🚀 クイックスタート

このMMSチェックポイントは、Transformers と共に使用して、1107の異なる言語の音声を文字起こしすることができます。簡単な例を見てみましょう。

まず、transformers と他のいくつかのライブラリをインストールします。

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

MMSを使用するには、少なくとも transformers >= 4.30 がインストールされている必要があります。もし 4.30 バージョンがまだ PyPI で利用可能でない場合は、ソースから transformers をインストールしてください。

pip install git+https://github.com/huggingface/transformers.git

次に、datasets を介していくつかの音声サンプルを読み込みます。音声データが16000kHzにサンプリングされていることを確認してください。

from datasets import load_dataset, Audio

# 英語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# フランス語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

次に、モデルとプロセッサーを読み込みます。

from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-l1107"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

これで、音声データを処理し、処理された音声データをモデルに渡し、モデルの出力を文字起こしします。通常のWav2Vec2モデル（例：facebook/wav2vec2 - base - 960h）と同じように行います。

inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

同じモデルをメモリに保持したまま、便利な load_adapter() 関数をモデルに、set_target_lang() 関数をトークナイザーに呼び出すことで、言語アダプターを簡単に切り替えることができます。ターゲット言語を入力として渡します（フランス語の場合は "fra"）。

processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

同じ方法で、サポートされている他のすべての言語に切り替えることができます。詳細については、以下を参照してください。

processor.tokenizer.vocab.keys()

より詳細な情報については、公式ドキュメント を参照してください。

✨ 主な機能

• 1107の言語をサポートする多言語自動音声認識モデルです。
• Wav2Vec2アーキテクチャに基づき、アダプターモデルを使用して言語を切り替えることができます。

💻 使用例

基本的な使用法

from datasets import load_dataset, Audio
from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

# 音声サンプルの読み込み
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# モデルとプロセッサーの読み込み
model_id = "facebook/mms-1b-l1107"
processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

# 音声データの処理と文字起こし
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs).logits
ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
print(transcription)

高度な使用法

# 言語の切り替え
processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

# フランス語の音声サンプルの読み込み
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

# 音声データの処理と文字起こし
inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs).logits
ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
print(transcription)

📚 ドキュメント

サポートされている言語

このモデルは1107の言語をサポートしています。以下をクリックして、このチェックポイントでサポートされているすべての言語を ISO 639 - 3コード で表示します。言語とそのISO 649 - 3コードの詳細については、MMS言語カバレッジ概要 を参照してください。

モデルの詳細

追加リンク

• ブログ記事
• Transformersドキュメント
• 論文
• GitHubリポジトリ
• 他の MMS チェックポイント
• MMSベースチェックポイント:
  • facebook/mms - 1b
  • facebook/mms - 300m
• 公式スペース

📄 ライセンス

このモデルはCC - BY - NC 4.0ライセンスの下で提供されています。