Indic Whisper Hi Multi Gpu

🚀 IndicWhisper With JAX (高速化版)

IndicWhisperは、インドの言語に対してファインチューニングされた最先端の音声認識モデルです。このリポジトリには、モデルのトレーニングと評価のコード、およびすぐに使用できる事前学習済みのチェックポイントが含まれています。

🚀 クイックスタート

IndicWhisperは、インドの言語に関する様々なベンチマークで印象的な単語誤り率（WER）を達成しています。他の公開されているモデルを上回り、インドの言語における音声認識タスクにとって非常に価値のあるツールとなっています。

Vistaarベンチマーク（ヒンディー語サブセット）での性能

✨ 主な機能

新機能: JAXモード

最近、JAXモードのサポートが追加されました。これにより、TPUとGPUの両方で大幅なパフォーマンス向上が実現されます。この機能は、高性能コンピューティング環境に特に有用であり、速度と効率が最適化されています。

このリポジトリは、🤗 AI4 BharatによるIndic Whisperの実装を基に、Indic Whisperモデル用の最適化されたJAXモデルを提供しています。JAXの実装は、元のIndic WhisperのPyTorchコードと比較して70倍以上高速で動作し、最速のWhisper実装となっています。

💻 使用例

基本的な使用法

from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline
import jax.numpy as jnp

pipeline = FlaxWhisperPipline('parthiv11/indic_whisper_hi_multi_gpu', dtype=jnp.bfloat16)
transcript= pipeline('sample.mp3')

謝辞

以下の組織に対して、支援に感謝の意を表します。

• EkStep財団は、インド工科大学マドラス校のAI4Bharatセンターの設立を促進するための寛大な助成金を提供してくれました。
• 電子情報技術省（NLTM）は、Bhashiniプロジェクトの下でインドの言語用のデータセットとモデルの作成を支援するための助成金を提供してくれました。
• インドの高度情報処理開発センター（C-DAC）は、モデルのトレーニングのためにParam Siddhiスーパーコンピュータへのアクセスを提供してくれました。
• Microsoftは、インドの言語用のデータセット、ツール、およびリソースを作成するための助成金を提供してくれました。
• github のJAXガイドに関して

📄 ライセンス

IndicWhisperと関連するVistaarベンチマークは、MITライセンスの下で提供されています。このライセンスは、このリポジトリに含まれるすべてのファインチューニングされた言語モデルに適用されます。

貢献者

• Kaushal Bhogale (AI4Bharat)
• Sai Narayan Sundaresan (IITKGP, AI4Bharat)
• Abhigyan Raman (AI4Bharat)
• Tahir Javed (IITM, AI4Bharat)
• Mitesh Khapra (IITM, AI4Bharat, RBCDSAI)
• Pratyush Kumar (Microsoft, AI4Bharat)

🔧 コントリビューション

コミュニティからの貢献を歓迎します。もしアイデア、バグ修正、または機能強化があれば、ぜひプルリクエストを送信してください。

IndicWhisperへの関心に感謝します！インドの言語における音声認識のニーズに役立つツールとなることを願っています。