Audiox North V1

🚀 AudioX：多語言語音轉文本模型

AudioX 是由 Jivi AI 開發的先進印度多語言自動語音識別（ASR）模型家族。它包含兩個專門的變體——AudioX-North 和 AudioX-South，每個變體都針對不同的印度語言集進行了優化，以確保更高的準確性。AudioX-North 支持印地語、古吉拉特語和馬拉地語，而 AudioX-South 則涵蓋泰米爾語、泰盧固語、卡納達語和馬拉雅拉姆語。AudioX 模型在開源 ASR 數據集和專有音頻的組合上進行訓練，能夠在各種口音和聲學條件下提供強大的轉錄能力，在支持的語言中實現了行業領先的性能。

🚀 快速開始

模型推理示例

你可以使用 🤗 transformers 和 librosa 庫輕鬆運行推理。以下是一個簡單的入門示例：

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import librosa

# 加載模型和處理器
device = "cuda"
processor = WhisperProcessor.from_pretrained("jiviai/audioX-north-v1")
model = WhisperForConditionalGeneration.from_pretrained("jiviai/audioX-north-v1").to(device)
model.config.forced_decoder_ids = None

# 加載並預處理音頻
audio_path = "sample.wav"
audio_np, sr = librosa.load(audio_path, sr=None)
if sr != 16000:
    audio_np = librosa.resample(audio_np, orig_sr=sr, target_sr=16000)

input_features = processor(audio_np, sampling_rate=16000, return_tensors="pt").to(device).input_features

# 生成預測
# 使用 ISO 639-1 語言代碼：北部語言用 "hi"、"mr"、"gu"；南部語言用 "ta"、"te"、"kn"、"ml"
# 或者省略語言參數以進行自動語言檢測
predicted_ids = model.generate(input_features, task="transcribe", language="hi")

# 解碼預測結果
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
print(transcription)

✨ 主要特性

專為印度語言設計

AudioX 旨在處理多樣化的印度語言輸入，支持語音助手、轉錄工具、客戶服務自動化和多語言內容創作等實際應用。它在各種地區口音和不同音頻質量下都能提供高精度的識別。

強大的訓練能力

AudioX 在開源語音識別骨幹模型的基礎上，使用監督學習進行微調。訓練流程結合了領域自適應、語言平衡和噪聲增強，以確保在實際場景中的魯棒性。

優質的數據準備

該模型在以下數據上進行訓練：

• 開源多語言 ASR 語料庫
• 專有的印度語言醫療數據集

這種混合方法提高了模型在不同方言和聲學條件下的泛化能力。

卓越的基準表現

AudioX 在多種印度語言上取得了頂尖的性能，超越了開源和商業 ASR 模型。我們使用 AI4Bharat 的 Vistaar 套件提供的官方評估腳本，在 Vistaar 基準測試 上對 AudioX 進行了評估，確保了在不同語言場景下的嚴格、標準化比較。

📄 許可證

本項目採用 Apache-2.0 許可證。