Audiox South V1

🚀 AudioX: 多言語音声テキスト変換モデル

AudioXは、Jivi AIによって開発された最先端のインド多言語自動音声認識（ASR）モデルファミリーです。AudioX-NorthとAudioX-Southの2つの特殊なバリアントで構成されており、それぞれが異なるインドの言語セットに最適化されており、より高い精度を実現します。AudioX-Northはヒンディー語、グジャラート語、マラーティー語をサポートし、AudioX-Southはタミル語、テルグ語、カンナダ語、マラヤーラム語をカバーします。オープンソースのASRデータセットと独自のオーディオデータを組み合わせて学習されたAudioXモデルは、アクセントや音響条件に関係なく、堅牢な文字起こし機能を提供し、サポートされている言語全体で業界をリードするパフォーマンスを発揮します。

🚀 クイックスタート

AudioXは、音声アシスタント、文字起こしツール、カスタマーサービスの自動化、多言語コンテンツ作成などの実世界のアプリケーションをサポートするために、多様なインド語の入力を処理するように設計されています。地域のアクセントやさまざまなオーディオ品質にわたって高い精度を提供します。

✨ 主な機能

• インド語に特化した設計：AudioXは、多様なインド語の入力を処理するように設計されており、地域のアクセントやオーディオ品質の違いに対応して高い精度を維持します。
• 多言語サポート：AudioX-NorthとAudioX-Southの2つのバリアントが、それぞれ異なるインド語セットをサポートしています。
• 堅牢な学習プロセス：オープンソースの音声認識バックボーンの上で教師あり学習を使用して微調整され、ドメイン適応、言語バランス、ノイズ増強などの手法が組み込まれています。

📦 インストール

このモデルを使用するには、🤗 transformers と librosa ライブラリが必要です。以下のコードを使用してインストールできます。

pip install transformers librosa

💻 使用例

基本的な使用法

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import librosa

# モデルとプロセッサーをロード
device = "cuda"
processor = WhisperProcessor.from_pretrained("jiviai/audioX-south-v1")
model = WhisperForConditionalGeneration.from_pretrained("jiviai/audioX-south-v1").to(device)
model.config.forced_decoder_ids = None

# オーディオをロードして前処理
audio_path = "sample.wav"
audio_np, sr = librosa.load(audio_path, sr=None)
if sr != 16000:
    audio_np = librosa.resample(audio_np, orig_sr=sr, target_sr=16000)

input_features = processor(audio_np, sampling_rate=16000, return_tensors="pt").to(device).input_features

# 予測を生成
# ISO 639-1言語コードを使用: 北部の場合は "hi", "mr", "gu"; 南部の場合は "ta", "te", "kn", "ml"
# または、自動言語検出の場合は言語引数を省略
predicted_ids = model.generate(input_features, task="transcribe", language="ta")

# 予測をデコード
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
print(transcription)

📚 ドキュメント

トレーニングプロセス

AudioXは、オープンソースの音声認識バックボーンの上で教師あり学習を使用して微調整されています。トレーニングパイプラインには、実世界のシナリオでの堅牢性を高めるために、ドメイン適応、言語バランス、ノイズ増強が組み込まれています。

データ準備

このモデルは以下のデータで学習されています。

• オープンソースの多言語ASRコーパス
• 独自のインド語の医療データセット

このハイブリッドアプローチにより、方言や音響条件にわたるモデルの汎化能力が向上します。

ベンチマーク

AudioXは、複数のインド語でトップクラスのパフォーマンスを達成しており、オープンソースと商用の両方のASRモデルを上回っています。 AI4BharatのVistaarスイートが提供する公式評価スクリプトを使用して、VistaarベンチマークでAudioXを評価し、多様な言語シナリオでの厳密で標準化された比較を行っています。

🔧 技術詳細

AudioXは、オープンソースの音声認識バックボーンの上で教師あり学習を使用して微調整されています。トレーニングパイプラインには、ドメイン適応、言語バランス、ノイズ増強などの手法が組み込まれており、実世界のシナリオでの堅牢性を高めています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。