Silero Vad Coreml

🚀 CoreML Silero VAD

Silero音声活性検出（VAD）モデルのCoreML実装で、Appleプラットフォーム（iOS/macOS）向けに最適化されています。このリポジトリには、Swiftアプリケーションですぐに使用できる事前変換済みのCoreMLモデルが含まれています。

🚀 クイックスタート

このセクションでは、CoreML Silero VADモデルの基本的な使い方を紹介します。

✨ 主な機能

• iOS/macOSアプリケーションにおけるリアルタイムの音声活性検出
• ASRシステムの音声前処理
• 音声のセグメンテーションとフィルタリング

📦 インストール

SwiftプロジェクトにFluidAudioを追加します。

dependencies: [
    .package(url: "https://github.com/FluidAudio/FluidAudioSwift.git", from: "1.0.0")
]

💻 使用例

基本的な使用法

import FluidAudio

let config = VADConfig(
    threshold: 0.3,
    chunkSize: 512, // 512が最適
    sampleRate: 16000
)

let vadManager = VADManager(config: config)
try await vadManager.initialize()

// 音声チャンクを処理
let result = try await vadManager.processChunk(audioChunk)
print("音声確率: \(result.probability)")
print("音声がアクティブか: \(result.isVoiceActive)")

📚 ドキュメント

モデルの説明

• 開発者: Sileroチーム（オリジナル）、FluidAudioによる変換
• モデルタイプ: 音声活性検出
• ライセンス: MIT
• 親モデル: silero-vad

モデルの詳細

想定される用途

主な使用例

• iOS/macOSアプリケーションにおけるリアルタイムの音声活性検出
• ASRシステムの音声前処理
• 音声のセグメンテーションとフィルタリング

性能

Apple Silicon（M1/M2）でのベンチマーク結果です。

精度メトリック

一般的な音声データセットで評価されました。

• 精度: 94.2%
• 再現率: 92.8%
• F1スコア: 93.5%

モデルファイル

このリポジトリには、一緒に動作する3つのCoreMLモデルが含まれています。

• silero_stft.mlmodel (650KB) - STFT特徴抽出
• silero_encoder.mlmodel (254KB) - 特徴エンコーディング
• silero_rnn_decoder.mlmodel (527KB) - RNNベースの分類

学習データ

元のSilero VADモデルは、以下を含む多様なデータセットで学習されました。

• クリーンな音声オーディオ
• さまざまな背景条件のノイズ付き音声
• ネガティブサンプルとしての音楽や非音声オーディオ

制限事項とバイアス

既知の制限事項

• 16kHzサンプルレートに最適化されているため、他のレートでは精度が低下する可能性があります。
• 非常に静かな音声（<-30dB SNR）では性能が低下する可能性があります。
• マイクの品質や録音条件によって性能が異なります。

🔧 技術詳細

モデルアーキテクチャ

音声入力 (512サンプル, 16kHz) ↓ STFTモデル (スペクトル特徴) ↓ エンコーダモデル (特徴圧縮) ↓ RNNデコーダ (時間的モデリング) ↓ 音声確率出力

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEファイルを参照してください。元のSilero VADモデルもMITライセンスの下です。詳細はこちらを参照してください。

引用

@misc{silero-vad-coreml,
  title={CoreML Silero VAD},
  author={FluidAudio Team},
  year={2024},
  url={https://huggingface.co/alexwengg/coreml-silero-vad}
}

@misc{silero-vad,
  title={Silero VAD},
  author={Silero Team},
  year={2021},
  url={https://github.com/snakers4/silero-vad}
}

関連モデル

こちらで他のCoreML音声モデルを確認できます。

• https://huggingface.co/alexwengg/coreml_speaker_diarization - 誰がいつ話したかを特定する
• https://huggingface.co/collections/bweng/coreml-685b12fd251f80552c08e2b9 - Appleプラットフォーム向けの音声認識

リポジトリとサポート

• GitHub: https://github.com/FluidAudio/FluidAudioSwift
• ドキュメント: https://github.com/FluidAudio/FluidAudioSwift/wiki
• イシュー: https://github.com/FluidAudio/FluidAudioSwift/issues
• コミュニティ: https://github.com/FluidAudio/FluidAudioSwift/discussions