Sew D Tiny 100k

🚀 SEW-D-tiny

SEW-D by ASAPP Researchによる音声モデルで、16kHzサンプリングの音声オーディオで事前学習されたベースモデルです。

🚀 クイックスタート

このモデルは、16kHzでサンプリングされた音声オーディオで事前学習されたベースモデルです。モデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。このモデルは、自動音声認識、話者識別、意図分類、感情認識などの下流タスクでファインチューニングする必要があります。

論文: Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition

著者: Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi

概要 この論文は、自動音声認識（ASR）のための事前学習モデルにおける性能と効率のトレードオフに関する研究です。著者らはwav2vec 2.0に焦点を当て、モデルの性能と効率の両方に影響を与えるいくつかのアーキテクチャ設計を定式化しました。これらの知見をまとめて、著者らはSEW（Squeezed and Efficient Wav2vec）という事前学習モデルアーキテクチャを導入しました。これは、さまざまなトレーニング設定において、性能と効率の両方の面で大幅な改善をもたらします。たとえば、LibriSpeechの100h - 960h半教師あり設定では、SEWはwav2vec 2.0と比較して1.9倍の推論速度向上を達成し、単語誤り率を13.5％相対的に削減します。同程度の推論時間で、SEWは異なるモデルサイズで単語誤り率を25 - 50％削減します。

元のモデルは https://github.com/asappresearch/sew#model-checkpoints で見つけることができます。

💻 使用例

基本的な使用法

このモデルをファインチューニングする方法の詳細については、このブログを参照してください。なお、クラス Wav2Vec2ForCTC は SEWDForCTC に置き換える必要があります。

📄 ライセンス

このプロジェクトは apache-2.0 ライセンスの下で提供されています。