Sew Tiny 100k

🚀 SEW-tiny

SEW by ASAPP Researchに基づく、16kHzサンプリングの音声オーディオで事前学習されたベースモデルです。モデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。このモデルは、自動音声認識、話者識別、意図分類、感情認識などの下流タスクでファインチューニングする必要があります。

✨ 主な機能

• 16kHzサンプリングの音声オーディオで事前学習されたベースモデル。
• 下流タスクでのファインチューニングが可能。

📚 ドキュメント

論文情報

• 論文タイトル: Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
• 著者: Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi

概要

この論文は、自動音声認識（ASR）のための事前学習モデルにおける性能と効率性のトレードオフに関する研究です。著者らはwav2vec 2.0に焦点を当て、モデルの性能と効率性の両方に影響を与えるいくつかのアーキテクチャ設計を定式化しました。これらの知見をまとめて、著者らはSEW（Squeezed and Efficient Wav2vec）という事前学習モデルアーキテクチャを提案しました。このアーキテクチャは、様々な学習設定において、性能と効率性の両面で大幅な改善をもたらします。例えば、LibriSpeechの100h - 960h半教師あり設定では、SEWはwav2vec 2.0と比較して1.9倍の推論速度向上を達成し、単語誤り率を13.5％相対的に削減します。同程度の推論時間で、SEWは異なるモデルサイズにおいて単語誤り率を25 - 50％削減します。

元モデル

元のモデルはこちらで確認できます。

💻 使用例

基本的な使用法

モデルをファインチューニングする方法の詳細については、このブログを参照してください。ただし、クラスWav2Vec2ForCTCはSEWForCTCに置き換える必要があります。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

⚠️ 重要提示

モデルを使用する際には、入力音声が16kHzでサンプリングされていることを確認してください。また、このモデルは下流タスクでのファインチューニングが必要です。

💡 使用建议

モデルをファインチューニングする際には、このブログを参考にしてください。クラスWav2Vec2ForCTCはSEWForCTCに置き換える必要があります。