Audiox North V1

🚀 AudioX: 多言語音声テキスト変換モデル

AudioXは、Jivi AIによって開発された最先端のインド多言語自動音声認識（ASR）モデルファミリーです。AudioX-NorthとAudioX-Southの2つの特殊なバリアントで構成されており、それぞれが異なるインドの言語セットに最適化されており、より高い精度を実現します。AudioX-Northはヒンディー語、グジャラート語、マラーティー語をサポートし、AudioX-Southはタミル語、テルグ語、カンナダ語、マラヤーラム語をカバーします。オープンソースのASRデータセットと独自の音声データを組み合わせて学習されたAudioXモデルは、アクセントや音響条件に関係なく堅牢な文字起こし機能を提供し、サポートされている言語全体で業界をリードするパフォーマンスを発揮します。

✨ 主な機能

インドの言語に特化した設計

AudioXは、多様なインドの言語入力を扱うように設計されており、音声アシスタント、文字起こしツール、カスタマーサービス自動化、多言語コンテンツ作成などの実世界のアプリケーションをサポートします。地域のアクセントやさまざまな音質にわたって高い精度を提供します。

学習プロセス

AudioXは、オープンソースの音声認識バックボーンの上で教師あり学習を使用して微調整されています。学習パイプラインには、ドメイン適応、言語バランシング、ノイズ増強が組み込まれており、実世界のシナリオでの堅牢性を実現しています。

データ準備

このモデルは以下のデータで学習されています。

• オープンソースの多言語ASRコーパス
• 独自のインド語の医療データセット

このハイブリッドアプローチにより、方言や音響条件にわたるモデルの汎化能力が向上します。

ベンチマーク

AudioXは、複数のインドの言語でトップクラスのパフォーマンスを達成しており、オープンソースと商用の両方のASRモデルを上回っています。 私たちは、AI4BharatのVistaarスイートが提供する公式の評価スクリプトを使用して、VistaarベンチマークでAudioXを評価し、多様な言語シナリオでの厳格で標準化された比較を保証しています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、transformers と librosa をインストールできます。

pip install transformers librosa

💻 使用例

基本的な使用法

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import librosa

# モデルとプロセッサーをロード
device = "cuda"
processor = WhisperProcessor.from_pretrained("jiviai/audioX-north-v1")
model = WhisperForConditionalGeneration.from_pretrained("jiviai/audioX-north-v1").to(device)
model.config.forced_decoder_ids = None

# 音声をロードして前処理
audio_path = "sample.wav"
audio_np, sr = librosa.load(audio_path, sr=None)
if sr != 16000:
    audio_np = librosa.resample(audio_np, orig_sr=sr, target_sr=16000)

input_features = processor(audio_np, sampling_rate=16000, return_tensors="pt").to(device).input_features

# 予測を生成
# ISO 639-1言語コードを使用: 北部の場合は "hi", "mr", "gu"; 南部の場合は "ta", "te", "kn", "ml"
# または、自動言語検出の場合は言語引数を省略
predicted_ids = model.generate(input_features, task="transcribe", language="hi")

# 予測をデコード
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
print(transcription)

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。