標籤:

• 多模態語音識別系統 語言:
• 阿布哈茲語
• 南非荷蘭語
• 阿肯語
• 阿姆哈拉語
• 阿拉伯語
• 阿薩姆語
• 阿瓦爾語
• 艾馬拉語
• 阿塞拜疆語
• 巴什基爾語
• 班巴拉語
• 白俄羅斯語
• 孟加拉語
• 比斯拉馬語
• 藏語
• 波斯尼亞語
• 布列塔尼語
• 保加利亞語
• 加泰羅尼亞語
• 捷克語
• 車臣語
• 楚瓦什語
• 庫爾德語
• 威爾士語
• 丹麥語
• 德語
• 迪維希語
• 宗喀語
• 希臘語
• 英語
• 世界語
• 愛沙尼亞語
• 巴斯克語
• 埃維語
• 法羅語
• 波斯語
• 斐濟語
• 芬蘭語
• 法語
• 西弗裡西亞語
• 富拉語
• 愛爾蘭語
• 加利西亞語
• 瓜拉尼語
• 古吉拉特語
• 中文
• 海地克里奧爾語
• 豪薩語
• 希伯來語
• 印地語
• 克羅地亞語
• 匈牙利語
• 亞美尼亞語
• 伊博語
• 國際語
• 馬來語
• 冰島語
• 意大利語
• 爪哇語
• 日語
• 卡納達語
• 格魯吉亞語
• 哈薩克語
• 卡努里語
• 高棉語
• 基庫尤語
• 盧旺達語
• 吉爾吉斯語
• 韓語
• 科米語
• 老撾語
• 拉丁語
• 拉脫維亞語
• 林加拉語
• 立陶宛語
• 盧森堡語
• 盧幹達語
• 馬紹爾語
• 馬拉雅拉姆語
• 馬拉地語
• 馬來語
• 馬其頓語
• 馬爾加什語
• 馬耳他語
• 蒙古語
• 毛利語
• 緬甸語
• 中文
• 荷蘭語
• 挪威語
• 挪威語
• 尼泊爾語
• 尼揚賈語
• 奧克語
• 奧羅莫語
• 奧里亞語
• 奧塞梯語
• 旁遮普語
• 波蘭語
• 葡萄牙語
• 馬來語
• 普什圖語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 克丘亞語
• 羅馬尼亞語
• 隆迪語
• 俄語
• 桑戈語
• 斯洛伐克語
• 斯洛文尼亞語
• 薩摩亞語
• 紹納語
• 信德語
• 索馬里語
• 西班牙語
• 阿爾巴尼亞語
• 巽他語
• 瑞典語
• 斯瓦希里語
• 泰米爾語
• 韃靼語
• 泰盧固語
• 塔吉克語
• 他加祿語
• 泰語
• 提格里尼亞語
• 聰加語
• 土耳其語
• 烏克蘭語
• 馬來語
• 越南語
• 沃洛夫語
• 科薩語
• 馬來語
• 約魯巴語
• 馬來語
• 祖魯語
• 壯語 許可證: CC-BY-NC-4.0 數據集:
• google/fleurs 指標:
• 準確率

大規模多語言語音（MMS）- 微調語言識別模型

此檢查點是一個針對語音語言識別（LID）任務進行微調的模型，屬於Facebook的大規模多語言語音項目的一部分。該檢查點基於Wav2Vec2架構，能將原始音頻輸入分類為4017種輸出類別的概率分佈（每個類別代表一種語言）。該檢查點包含10億參數，並已從facebook/mms-1b在4017種語言上進行微調。

目錄

• 示例
• 支持的語言
• 模型詳情
• 附加鏈接

示例

此MMS檢查點可與Transformers一起使用，用於識別音頻的語種。它能識別以下4017種語言。

讓我們看一個簡單的例子。

首先，安裝transformers和其他一些庫：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

注意：要使用MMS，您至少需要安裝transformers >= 4.30版本。如果PyPI上尚未提供4.30版本，請確保從源代碼安裝transformers：

pip install git+https://github.com/huggingface/transformers.git

接下來，我們通過datasets加載一些音頻樣本。確保音頻數據採樣率為16,000 kHz。

from datasets import load_dataset, Audio

# 英語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 阿拉伯語
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "ar", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
ar_sample = next(iter(stream_data))["audio"]["array"]

接下來，加載模型和處理器：

from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

model_id = "facebook/mms-lid-4017"

processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

現在處理音頻數據，將處理後的音頻數據傳遞給模型進行分類，就像我們通常對Wav2Vec2音頻分類模型（如harshit345/xlsr-wav2vec-speech-emotion-recognition所做的那樣：

# 英語
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'eng'

# 阿拉伯語
inputs = processor(ar_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'ara'

要查看檢查點支持的所有語言，可以如下打印語言ID：

processor.id2label.values()

有關架構的更多詳細信息，請參閱官方文檔。

支持的語言

此模型支持4017種語言。點擊以下內容可切換查看此檢查點支持的ISO 639-3代碼的所有語言。您可以在MMS語言覆蓋概述中找到有關這些語言及其ISO 649-3代碼的更多詳細信息。