Audiox South V1

🚀 AudioX：多語言語音轉文本模型

AudioX 是由 Jivi AI 開發的先進印度多語言自動語音識別（ASR）模型家族。它包含兩個專門的變體——AudioX-North 和 AudioX-South，每個變體都針對不同的印度語言集進行了優化，以確保更高的準確性。AudioX-North 支持印地語、古吉拉特語和馬拉地語，而 AudioX-South 則涵蓋泰米爾語、泰盧固語、卡納達語和馬拉雅拉姆語。該模型基於開源 ASR 數據集和專有音頻進行訓練，能夠在各種口音和聲學條件下提供強大的轉錄能力，在支持的語言中表現卓越。

✨ 主要特性

專為印度語言打造

AudioX 旨在處理多樣化的印度語言輸入，支持語音助手、轉錄工具、客戶服務自動化和多語言內容創作等實際應用。它在不同地區口音和音頻質量下都能提供高精度的識別。

訓練過程

AudioX 在開源語音識別骨幹模型的基礎上，使用監督學習進行微調。訓練流程結合了領域自適應、語言平衡和噪聲增強等技術，以確保在實際場景中的魯棒性。

數據準備

該模型基於以下數據進行訓練：

• 開源多語言 ASR 語料庫
• 專有的印度語言醫療數據集

這種混合方法增強了模型在不同方言和聲學條件下的泛化能力。

基準測試

AudioX 在多種印度語言上表現出色，超越了開源和商業 ASR 模型。我們使用 AI4Bharat 的 Vistaar 套件提供的官方評估腳本，在 Vistaar 基準測試 中對 AudioX 進行了評估，確保在不同語言場景下進行嚴格、標準化的比較。

📦 安裝指南

文檔未提供具體安裝步驟，可根據使用的庫（如 🤗 transformers 和 librosa），通過常規的 Python 包管理工具（如 pip）進行安裝：

pip install transformers librosa

💻 使用示例

基礎用法

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import librosa

# Load model and processor
device = "cuda"
processor = WhisperProcessor.from_pretrained("jiviai/audioX-south-v1")
model = WhisperForConditionalGeneration.from_pretrained("jiviai/audioX-south-v1").to(device)
model.config.forced_decoder_ids = None

# Load and preprocess audio
audio_path = "sample.wav"
audio_np, sr = librosa.load(audio_path, sr=None)
if sr != 16000:
    audio_np = librosa.resample(audio_np, orig_sr=sr, target_sr=16000)

input_features = processor(audio_np, sampling_rate=16000, return_tensors="pt").to(device).input_features

# Generate predictions
# Use ISO 639-1 language codes: "hi", "mr", "gu" for North; "ta", "te", "kn", "ml" for South
# Or omit the language argument for automatic language detection
predicted_ids = model.generate(input_features, task="transcribe", language="ta")

# Decode predictions
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
print(transcription)

📄 許可證

本項目採用 Apache-2.0 許可證。