Voiceguard

🚀 語音檢測AI - 真實與AI音頻分類器

本項目是一個基於Wav2Vec2微調的音頻分類器，能夠精準區分真實人類語音和AI生成語音。它在包含各種TTS模型樣本和真實人類音頻記錄的數據集上進行了訓練。

🚀 快速開始

安裝依賴

確保你已經安裝了 transformers 和 torch：

pip install transformers torch torchaudio

使用示例

以下是如何使用VoiceGUARD進行音頻分類的示例：

import torch
from transformers import Wav2Vec2ForSequenceClassification, Wav2Vec2Processor
import torchaudio

# 加載模型和處理器
model_name = "Mrkomiljon/voiceGUARD"
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_name)
processor = Wav2Vec2Processor.from_pretrained(model_name)

# 加載音頻
waveform, sample_rate = torchaudio.load("path_to_audio_file.wav")

# 必要時進行重採樣
if sample_rate != 16000:
    resampler = torchaudio.transforms.Resample(orig_freq=sample_rate, new_freq=16000)
    waveform = resampler(waveform)

# 預處理
inputs = processor(waveform.squeeze().numpy(), sampling_rate=16000, return_tensors="pt", padding=True)

# 推理
with torch.no_grad():
    logits = model(**inputs).logits
    predicted_ids = torch.argmax(logits, dim=-1)

# 映射到標籤
labels = ["Real Human Voice", "AI-generated"]
prediction = labels[predicted_ids.item()]
print(f"Prediction: {prediction}")

✨ 主要特性

• 能夠區分真實人類語音和AI生成語音。
• 在多種AI生成模型上具有較好的分類效果。

📦 安裝指南

確保你已經安裝了 transformers 和 torch：

pip install transformers torch torchaudio

💻 使用示例

基礎用法

import torch
from transformers import Wav2Vec2ForSequenceClassification, Wav2Vec2Processor
import torchaudio

# 加載模型和處理器
model_name = "Mrkomiljon/voiceGUARD"
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_name)
processor = Wav2Vec2Processor.from_pretrained(model_name)

# 加載音頻
waveform, sample_rate = torchaudio.load("path_to_audio_file.wav")

# 必要時進行重採樣
if sample_rate != 16000:
    resampler = torchaudio.transforms.Resample(orig_freq=sample_rate, new_freq=16000)
    waveform = resampler(waveform)

# 預處理
inputs = processor(waveform.squeeze().numpy(), sampling_rate=16000, return_tensors="pt", padding=True)

# 推理
with torch.no_grad():
    logits = model(**inputs).logits
    predicted_ids = torch.argmax(logits, dim=-1)

# 映射到標籤
labels = ["Real Human Voice", "AI-generated"]
prediction = labels[predicted_ids.item()]
print(f"Prediction: {prediction}")

📚 詳細文檔

模型概述

此模型是一個基於Wav2Vec2微調的音頻分類器，能夠區分真實人類語音和AI生成語音。它在包含各種TTS模型樣本和真實人類音頻記錄的數據集上進行了訓練。

模型詳情

性能

• 魯棒性：能夠在多個AI生成模型上成功分類。
• 侷限性：在某些未見的AI生成模型（如ElevenLabs）上表現不佳。

訓練過程

• 數據收集：編譯了一個包含真實人類語音和各種TTS模型AI生成樣本的平衡數據集。
• 預處理：標準化音頻格式，重採樣到16 kHz，並將時長調整為10秒。
• 微調：使用Wav2Vec2架構進行序列分類，以1e-5的學習率訓練3個週期。

評估

• 評估指標：準確率、精確率、召回率
• 評估結果：在測試集上實現了99.8%的驗證準確率。

侷限性和未來工作

• 雖然VoiceGUARD在已知的AI生成模型上表現穩健，但在新的或未見的模型上可能會遇到挑戰。
• 未來工作包括用新興TTS技術的樣本擴展訓練數據集，以提高泛化能力。

📄 許可證

本項目採用MIT許可證。有關詳細信息，請參閱LICENSE文件。

致謝

• 特別感謝 Wav2Vec2 模型的開發者以及本項目所使用數據集的貢獻者。
• 在 GitHub 上查看完整項目。