Indic Whisper Nodcil

🚀 IndicWhisper With JAX (高速化版)

IndicWhisperは、インドの言語に対してファインチューニングされた最先端の音声認識モデルです。このリポジトリには、モデルのトレーニングと評価のコード、およびすぐに使える事前学習済みのチェックポイントが含まれています。

🚀 クイックスタート

IndicWhisperは、インドの言語に関する様々なベンチマークで印象的な単語誤り率（WER）を達成しています。他の公開されているモデルを上回り、インドの言語における音声認識タスクに非常に有用なモデルとなっています。

Vistaarベンチマーク（ヒンディ語サブセット）での性能

✨ 主な機能

新機能: JAXモード

最近、JAXモードのサポートが追加されました。これにより、TPUとGPUの両方で大幅にパフォーマンスが向上します。この機能は、高性能コンピューティング環境に特に有用であり、速度と効率が最適化されています。

このリポジトリは、AI4 BharatによるIndic Whisperの実装を基に、Indic Whisperモデル用の最適化されたJAXモデルを提供しています。JAXの実装は、元のIndic WhisperのPyTorchコードと比較して70倍以上高速に動作し、最速のWhisper実装となっています。

💻 使用例

基本的な使用法

from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline
import jax.numpy as jnp

pipeline = FlaxWhisperPipline('parthiv11/indic_whisper_nodcil', dtype=jnp.bfloat16)
transcript= pipeline('sample.mp3')

謝辞

以下の組織に対して支援に感謝の意を表します。

• EkStep財団は、インド工科大学マドラス校のAI4Bharatセンターの設立を支援するための助成金を提供しました。
• 電子情報技術省（NLTM）は、Bhashiniプロジェクトの下でインドの言語用のデータセットとモデルの作成を支援する助成金を提供しました。
• インドの高度情報技術開発センター（C-DAC）は、モデルのトレーニングにParam Siddhiスーパーコンピュータの使用を許可してくれました。
• Microsoftは、インドの言語用のデータセット、ツール、リソースの作成を支援する助成金を提供しました。
• githubのJAXガイドに関して

📄 ライセンス

IndicWhisperと関連するVistaarベンチマークは、MITライセンスの下で提供されています。このライセンスは、このリポジトリに含まれるすべてのファインチューニングされた言語モデルに適用されます。

貢献者

• Kaushal Bhogale (AI4Bharat)
• Sai Narayan Sundaresan (IITKGP, AI4Bharat)
• Abhigyan Raman (AI4Bharat)
• Tahir Javed (IITM, AI4Bharat)
• Mitesh Khapra (IITM, AI4Bharat, RBCDSAI)
• Pratyush Kumar (Microsoft, AI4Bharat)

🔧 貢献の方法

コミュニティからの貢献を歓迎します。アイデア、バグ修正、または機能強化があれば、ぜひプルリクエストを送信してください。

IndicWhisperにご関心いただき、ありがとうございます！インドの言語における音声認識のニーズに役立つツールとしてご利用いただければ幸いです。