Meralion AudioLLM Whisper SEA LION

🚀 MERaLiON

MERaLiON-AudioLLM 是一款專為新加坡多元語言和多元文化環境量身定製的語音 - 文本大語言模型。它集成了本地化的 Whisper-large-v2 語音編碼器和 SEA-LION V3 文本解碼器，並在260,000 小時的語音和音頻數據以及6 種不同任務上進行了微調，以應對新加坡本地口音和方言的多樣化語言細微差別。

MERaLiON 代表著 Multimodal Empathetic Reasoning and Learning in One Network（單網絡中的多模態共情推理與學習）。

• 開發者：新加坡科技研究局（A*STAR）的 I²R 與新加坡人工智能公司（AISG）合作開發
• 模型類型：多模態大語言模型
• 支持語言：主要為英語（全球英語和新加坡英語），同時支持與 Whisper 和 SEA-LION 模型兼容的其他語言的輸入和輸出
• 音頻要求：單聲道音頻，16000 Hz，時長在30 秒以內
• 許可證：MERaLiON 公共許可證
• 演示地址：MERaLiON-AudioLLM 網絡演示

我們支持使用 Huggingface 和 vLLM 框架進行模型推理，可實現 閃電推理速度。如需瞭解更多技術細節，請參考我們的 技術報告。

🚀 快速開始

MERaLiON-AudioLLM 可通過 Huggingface 和 vLLM 框架進行推理，具體使用方法可參考下文的“推理”部分。

✨ 主要特性

• 適配新加坡環境：專為新加坡的多元語言和多元文化環境設計，能處理本地口音和方言。
• 多任務處理：經過訓練可處理 6 種主要任務，包括自動語音識別、語音翻譯、口語問答、口語對話總結、語音指令和副語言分析。
• 高性能表現：在新加坡本地環境的評估中表現出色，優於其他知名音頻大語言模型。

📦 安裝指南

文檔未提及具體安裝步驟，可參考相關框架（Huggingface、vLLM）的官方文檔進行安裝。

💻 使用示例

基礎用法

以下是使用 Huggingface CPU 進行推理的示例代碼：

import librosa
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor

repo_id = "MERaLiON/MERaLiON-AudioLLM-Whisper-SEA-LION"

processor = AutoProcessor.from_pretrained(
    repo_id, 
    trust_remote_code=True,
    )
model = AutoModelForSpeechSeq2Seq.from_pretrained(
    repo_id,
    use_safetensors=True,
    trust_remote_code=True,
)

prompt = "Given the following audio context: <SpeechHere>\n\nText instruction: {query}"
transcribe_query = "Please transcribe this speech."
translate_query = "Can you please translate this speech into written Chinese?"

conversation = [
    [{"role": "user", "content": prompt.format(query=transcribe_query)}],
    [{"role": "user", "content": prompt.format(query=translate_query)}],
]

chat_prompt = processor.tokenizer.apply_chat_template(
    conversation=conversation,
    tokenize=False,
    add_generation_prompt=True
)

# Use an audio within 30 seconds, 16000hz.
audio_array, sample_rate = librosa.load("/path/to/your/audio/file", sr=16000)
audio_array = [audio_array]*2
inputs = processor(text=chat_prompt, audios=audio_array)

outputs = model.generate(**inputs, max_new_tokens=256)
generated_ids = outputs[:, inputs['input_ids'].size(1):]
response = processor.batch_decode(generated_ids, skip_special_tokens=True)

高級用法

以下是使用 Huggingface GPU 進行推理的示例代碼：

import torch
import librosa
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor

repo_id = "MERaLiON/MERaLiON-AudioLLM-Whisper-SEA-LION"
device = "cuda"

processor = AutoProcessor.from_pretrained(
    repo_id, 
    trust_remote_code=True,
    )
model = AutoModelForSpeechSeq2Seq.from_pretrained(
    repo_id,
    use_safetensors=True,
    trust_remote_code=True,
    attn_implementation="flash_attention_2",
    torch_dtype=torch.bfloat16
).to(device)

prompt = "Given the following audio context: <SpeechHere>\n\nText instruction: {query}"
transcribe_query = "Please transcribe this speech."
translate_query = "Can you please translate this speech into written Chinese?"

conversation = [
    [{"role": "user", "content": prompt.format(query=transcribe_query)}],
    [{"role": "user", "content": prompt.format(query=translate_query)}],
]

chat_prompt = processor.tokenizer.apply_chat_template(
    conversation=conversation,
    tokenize=False,
    add_generation_prompt=True
)

# Use an audio within 30 seconds, 16000hz.
audio_array, sample_rate = librosa.load("/path/to/your/audio/file", sr=16000)
audio_array = [audio_array]*2
inputs = processor(text=chat_prompt, audios=audio_array)

for key, value in inputs.items():
    if isinstance(value, torch.Tensor):
        inputs[key] = inputs[key].to(device)

        if value.dtype == torch.float32:
            inputs[key] = inputs[key].to(torch.bfloat16)

outputs = model.generate(**inputs, max_new_tokens=256)
generated_ids = outputs[:, inputs['input_ids'].size(1):]
response = processor.batch_decode(generated_ids, skip_special_tokens=True)

📚 詳細文檔

模型描述

MERaLiON-AudioLLM 旨在將音頻 - 文本對作為輸入，並生成文本輸出。

該架構由三個關鍵組件組成：一個音頻編碼器，用於將語音或音頻輸入轉換為向量表示序列；一個文本解碼器，用於解釋和響應自然語言指令；以及一個適配器模塊，用於壓縮編碼器表示，同時使編碼器的隱藏維度與文本解碼器的嵌入大小對齊。

具體而言，我們從 Whisper-large-v2 微調了 MERaLiON-Whisper 編碼器作為音頻編碼器，並使用我們的合作伙伴新加坡人工智能公司開發的本地化大語言模型 SEA-LION V3 作為文本解碼器。

能力

MERaLiON-AudioLLM 主要針對 6 項任務進行訓練，即自動語音識別（ASR）、語音翻譯（ST）、口語問答（SQA）、口語對話總結（SDS）、語音指令（SI）和副語言學（PARA）。

我們使用 AudioBench 基準測試 中的一系列測試集，將 MERaLiON-AudioLLM 與三個知名的音頻大語言模型（Qwen2-Audio 7B、WavLLM、SALMONN）以及一個級聯模型進行了基準測試。如下表所示，MERaLiON-AudioLLM 在新加坡本地環境中表現更好，這在新加坡 多任務國家語音語料庫（MNSC）數據集的評估結果中得到了證明。

⚠️ 重要提示

MNSC 是一個多任務語音理解數據集，它是從 IMDA NSC 語料庫 派生而來並進一步註釋的。它專注於新加坡本地口音、本地化術語和代碼切換的知識。

我們分別使用詞錯誤率（WER）和 BLEU 分數來評估 ASR 和 ST 任務。對於其他任務，我們採用了 LLM-as-a-Judge 框架，該框架使用預訓練的大語言模型根據相關性、連貫性和準確性標準生成和評分響應，以評估任務性能。有關更多詳細信息，請參考 AudioBench 論文。

推理

⚠️ 重要提示

超出適用範圍的使用：此模型不適用於工具調用、數學和編碼任務。

vLLM 推理

我們支持使用 vLLM 框架託管模型。請參考 此處 的指南。

Huggingface CPU 推理

代碼示例見上文“使用示例”部分的基礎用法。

Huggingface GPU 推理

代碼示例見上文“使用示例”部分的高級用法。

免責聲明

當前的 MERaLiON-AudioLLM 尚未針對安全性進行專門調整，可能會生成不適當、冒犯性或有害的內容。開發者和用戶有責任進行自己的安全微調並實施必要的安全措施。作者不對因使用發佈的模型、權重或代碼而產生的任何索賠、損害或其他責任負責。

🔧 技術細節

訓練數據

MERaLiON-AudioLLM 在多種公開可用的數據集上進行訓練，同時還使用了團隊和母語人士精心策劃的合成和增強樣本，總計 260,000 小時的音頻。

計算資源和基礎設施

MERaLiON-AudioLLM 在新加坡**國家超級計算中心（NSCC）**提供的 ASPIRE 2A+ 超級計算機集群上進行訓練。ASPIRE 2A+ 集群提供多個 H100 節點，每個計算節點配備 8 個英偉達 H100 GPU、2 TB 內存和 30 TB 本地連接的 NVMe 存儲。這些節點通過優化的全胖樹拓撲結構互連，使用 400 Gb/s NDR InfiniBand 電纜。此外，集群還包含一個 2.5 PB 的基於 SSD 的 Lustre 文件系統，通過高速 InfiniBand 連接與 H100 節點相連。

在全局批量大小為 640 的情況下，我們對當前版本的 MERaLiON-AudioLLM 進行了約 200k 步的訓練，使用 16 個節點和 128 個 H100 GPU，耗時 2 天完成。

📄 許可證

本項目採用 MERaLiON 公共許可證。

致謝

本研究得到了新加坡國家研究基金會和新加坡資訊通信媒體發展管理局的國家大語言模型資助計劃的支持。

引用

如果您認為我們的工作有用，請引用我們的論文：

@misc{he2024meralionaudiollmtechnicalreport,
      title={MERaLiON-AudioLLM: Bridging Audio and Language with Large Language Models}, 
      author={{MERaLiON Team}},
      year={2024},
      eprint={2412.09818},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.09818}, 
}