Quantum STT

device = "cuda:0" if torch.cuda.is_available() else "cpu" torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "sbapan41/Quantum_STT"

model = AutoModelForSpeechSeq2Seq.from_pretrained( model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True ) model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation") dataset = dataset.cast_column("audio", Audio(processor.feature_extractor.sampling_rate)) sample = dataset[0]["audio"]

inputs = processor( sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt", truncation=False, padding="longest", return_attention_mask=True, ) inputs = inputs.to(device, dtype=torch_dtype)

gen_kwargs = { "max_new_tokens": 448, "num_beams": 1, "condition_on_prev_tokens": False, "compression_ratio_threshold": 1.35, # zlib compression ratio threshold (in token space) "temperature": (0.0, 0.2, 0.4, 0.6, 0.8, 1.0), "logprob_threshold": -1.0, "no_speech_threshold": 0.6, "return_timestamps": True, }

pred_ids = model.generate(**inputs, **gen_kwargs) pred_text = processor.batch_decode(pred_ids, skip_special_tokens=True, decode_with_timestamps=False)

print(pred_text)

</details>

## ✨ 主要特性
- **多語言支持**：支持多種語言，包括英語、中文、德語、西班牙語等。
- **先進架構**：基於Transformer的編碼器 - 解碼器模型，具有強大的泛化能力。
- **多種解碼策略**：與多種解碼策略兼容，如溫度回退和基於先前標記的條件。
- **自動語言預測**：能夠自動預測源音頻的語言。
- **語音翻譯功能**：支持語音翻譯任務，可將音頻轉錄為不同語言。
- **時間戳預測**：可以預測句子級和單詞級的時間戳。

## 📦 安裝指南
要使用Quantum_STT，需要安裝相關的庫。可以使用以下命令進行安裝：
```bash
pip install --upgrade pip
pip install --upgrade transformers datasets[audio] accelerate

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from datasets import load_dataset


device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "sbapan41/Quantum_STT"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    torch_dtype=torch_dtype,
    device=device,
)

dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")
sample = dataset[0]["audio"]

result = pipe(sample)
print(result["text"])

高級用法

generate_kwargs = {
    "max_new_tokens": 448,
    "num_beams": 1,
    "condition_on_prev_tokens": False,
    "compression_ratio_threshold": 1.35,  # zlib compression ratio threshold (in token space)
    "temperature": (0.0, 0.2, 0.4, 0.6, 0.8, 1.0),
    "logprob_threshold": -1.0,
    "no_speech_threshold": 0.6,
    "return_timestamps": True,
}

result = pipe(sample, generate_kwargs=generate_kwargs)

📚 詳細文檔

額外的速度和內存優化

可以對Quantum_STT應用額外的速度和內存優化，以進一步降低推理速度和顯存要求。

分塊長音頻處理

Quantum_STT的感受野為30秒。要轉錄超過此長度的音頻，需要使用以下兩種長音頻算法之一：

1. 順序算法：使用“滑動窗口”進行緩衝推理，逐個轉錄30秒的片段。
2. 分塊算法：將長音頻文件分割成較短的片段（片段之間有小的重疊），獨立轉錄每個片段，並在邊界處拼接轉錄結果。 在以下兩種情況下，應使用順序長音頻算法：
3. 轉錄準確性是最重要的因素，而速度不是主要考慮因素。
4. 正在轉錄批量長音頻文件，在這種情況下，順序算法的延遲與分塊算法相當，同時準確率高出0.5%的WER。 相反，在以下情況下應使用分塊算法：
5. 轉錄速度是最重要的因素。
6. 正在轉錄單個長音頻文件。 默認情況下，Transformers使用順序算法。要啟用分塊算法，可將chunk_length_s參數傳遞給pipeline。對於Quantum_STT，30秒的分塊長度是最優的。要對長音頻文件進行批處理，可傳遞batch_size參數：

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from datasets import load_dataset


device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "sbapan41/Quantum_STT"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    chunk_length_s=30,
    batch_size=16,  # batch size for inference - set based on your device
    torch_dtype=torch_dtype,
    device=device,
)

dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")
sample = dataset[0]["audio"]

result = pipe(sample)
print(result["text"])

Torch編譯

Quantum_STT的前向傳播與torch.compile兼容，可實現4.5倍的加速。 注意：torch.compile目前與分塊長音頻算法或Flash Attention 2不兼容 ⚠️

import torch
from torch.nn.attention import SDPBackend, sdpa_kernel
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from datasets import load_dataset
from tqdm import tqdm

torch.set_float32_matmul_precision("high")

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "sbapan41/Quantum_STT"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True
).to(device)

# Enable static cache and compile the forward pass
model.generation_config.cache_implementation = "static"
model.generation_config.max_new_tokens = 256
model.forward = torch.compile(model.forward, mode="reduce-overhead", fullgraph=True)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    torch_dtype=torch_dtype,
    device=device,
)

dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")
sample = dataset[0]["audio"]

# 2 warmup steps
for _ in tqdm(range(2), desc="Warm-up step"):
    with sdpa_kernel(SDPBackend.MATH):
        result = pipe(sample.copy(), generate_kwargs={"min_new_tokens": 256, "max_new_tokens": 256})

# fast run
with sdpa_kernel(SDPBackend.MATH):
    result = pipe(sample.copy())

print(result["text"])

Flash Attention 2

如果GPU支持且不使用torch.compile，建議使用Flash-Attention 2。要使用它，首先需要安裝Flash Attention：

pip install flash-attn --no-build-isolation

然後在from_pretrained中傳遞attn_implementation="flash_attention_2"：

model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, attn_implementation="flash_attention_2")

Torch縮放點積注意力（SDPA）

如果GPU不支持Flash Attention，建議使用PyTorch的縮放點積注意力（SDPA）。對於PyTorch 2.1.1或更高版本，此注意力實現默認啟用。要檢查是否有兼容的PyTorch版本，請運行以下Python代碼片段：

from transformers.utils import is_torch_sdpa_available

print(is_torch_sdpa_available())

如果上述代碼返回True，則已安裝有效的PyTorch版本，並且SDPA默認啟用。如果返回False，則需要根據官方說明升級PyTorch版本。 安裝有效的PyTorch版本後，SDPA默認啟用。也可以通過指定attn_implementation="sdpa"來顯式設置：

model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, attn_implementation="sdpa")

有關如何使用SDPA的更多信息，請參閱Transformers SDPA文檔。

模型細節

Quantum_STT是基於Transformer的編碼器 - 解碼器模型，也稱為序列到序列模型。Quantum_STT模型有兩種類型：僅英語模型和多語言模型。僅英語模型在英語語音識別任務上進行訓練。多語言模型同時在多語言語音識別和語音翻譯任務上進行訓練。對於語音識別，模型預測與音頻相同語言的轉錄結果。對於語音翻譯，模型預測與音頻不同語言的轉錄結果。 Quantum_STT檢查點有五種不同模型大小的配置。最小的四種有僅英語和多語言版本。最大的檢查點僅為多語言版本。所有十個預訓練檢查點都可以在Hugging Face Hub上找到。以下表格總結了這些檢查點，並提供了Hub上模型的鏈接：

微調

預訓練的Quantum_STT模型對不同的數據集和領域表現出強大的泛化能力。然而，通過微調，其在某些語言和任務上的預測能力可以進一步提高。

評估用途

這些模型的主要目標用戶是研究當前模型的魯棒性、泛化能力、性能、偏差和限制的AI研究人員。然而，Quantum_STT作為一種ASR解決方案，對開發者也可能非常有用，特別是在英語語音識別方面。我們認識到，一旦模型發佈，就不可能將其使用限制在“預期”用途上，也難以制定合理的研究指南。 這些模型主要在ASR和語音翻譯為英語的任務上進行訓練和評估。它們在約10種語言中顯示出強大的ASR結果。它們可能具有其他能力，特別是在某些任務（如語音活動檢測、說話人分類或說話人分割）上進行微調時，但在這些領域尚未進行全面評估。我們強烈建議用戶在特定上下文和領域中對模型進行全面評估後再進行部署。 特別是，我們警告不要使用Quantum_STT模型在未經個人同意的情況下轉錄其錄音，或聲稱使用這些模型進行任何主觀分類。我們不建議在高風險領域（如決策環境）中使用，因為準確性的缺陷可能導致結果出現明顯缺陷。這些模型旨在轉錄和翻譯語音，將其用於分類不僅未經過評估，而且不合適，特別是用於推斷人類屬性。

性能和侷限性

我們的研究表明，與許多現有的ASR系統相比，這些模型在應對口音、背景噪音、專業語言方面表現出更強的魯棒性，並且能夠實現從多種語言到英語的零樣本翻譯；在語音識別和翻譯方面的準確性接近當前的先進水平。 然而，由於這些模型是使用大規模噪聲數據進行弱監督訓練的，預測結果可能包含音頻輸入中實際未說出的文本（即幻覺現象）。我們推測，這是因為模型基於其對語言的一般知識，在嘗試預測音頻中的下一個單詞時，與轉錄音頻本身的任務相互干擾。 我們的模型在不同語言上的表現參差不齊，在資源較少和/或可發現性較低的語言，或訓練數據較少的語言上，準確性較低。模型在特定語言的不同口音和方言上也表現出差異，這可能包括不同性別、種族、年齡或其他人口統計學特徵的說話者之間的較高的單詞錯誤率。 此外，模型的序列到序列架構使其容易生成重複的文本，雖然可以通過束搜索和溫度調度在一定程度上緩解，但無法完全消除。

更廣泛的影響

我們預計Quantum_STT模型的轉錄能力可用於改進無障礙工具。雖然Quantum_STT模型本身不能直接用於即時轉錄，但其速度和規模表明，其他人可以在其基礎上構建允許接近即時語音識別和翻譯的應用程序。基於Quantum_STT模型構建的有益應用程序的真正價值表明，這些模型的不同性能可能會產生實際的經濟影響。 發佈Quantum_STT也存在潛在的雙重用途問題。雖然我們希望該技術主要用於有益目的，但使ASR技術更易於使用可能會使更多人能夠構建強大的監控技術或擴大現有監控工作的規模，因為其速度和準確性使得大規模音頻通信的自動轉錄和翻譯變得經濟可行。此外，這些模型可能具有一些直接識別特定個人的能力，這反過來又帶來了與雙重用途和不同性能相關的安全問題。實際上，我們預計轉錄成本不是擴大監控項目的限制因素。

🔧 技術細節

Quantum_STT是基於Transformer架構的編碼器 - 解碼器模型，採用序列到序列的設計。它通過在大規模標註數據上進行訓練，學習語音信號到文本序列的映射關係。在訓練過程中，模型使用了弱監督學習方法，以提高其在不同數據集和領域的泛化能力。 模型的編碼器將輸入的語音信號轉換為特徵表示，解碼器則根據這些特徵生成轉錄文本。在推理階段，模型可以根據輸入的語音自動預測語言，並支持多種解碼策略，如溫度回退和基於先前標記的條件。 為了處理長音頻，模型提供了順序和分塊兩種長音頻處理算法，用戶可以根據具體需求選擇合適的算法。此外，模型還支持語音翻譯任務，能夠將音頻轉錄為不同語言的文本。

📄 許可證

本項目採用Apache-2.0許可證。