Omniaudio 2.6B

🚀 OmniAudio-2.6B

OmniAudio是全球最快且最高效的可用於設備端部署的音頻語言模型，這是一個擁有26億參數的多模態模型，能夠處理文本和音頻輸入。它集成了Gemma - 2 - 2b、Whisper turbo和一個自定義投影模塊這三個組件，可直接在邊緣設備上實現安全、響應迅速的音頻文本處理。

與將自動語音識別（ASR）和大語言模型（LLM）串聯在一起的傳統方法不同，OmniAudio - 2.6B將這兩種能力統一在一個高效的架構中，實現了極低的延遲和資源開銷。

🚀 快速開始

快速鏈接

1. 在我們的HuggingFace空間進行交互式演示
2. 本地部署快速入門
3. 在我們的博客中瞭解更多信息

反饋：在我們的Discord中發送關於模型的問題或建議。

演示

✨ 主要特性

消費級硬件上的性能基準

在2024款Mac Mini M4 Pro上，運行在🤗 Transformers上的Qwen2 - Audio - 7B - Instruct平均解碼速度為每秒6.38個令牌，而通過Nexa SDK運行的Omni - Audio - 2.6B在FP16 GGUF版本中達到每秒35.23個令牌，在Q4_K_M量化GGUF版本中達到每秒66個令牌，在消費級硬件上實現了5.5倍至10.3倍的更快性能。

應用場景

• 無網絡語音問答：處理離線語音查詢，例如“我在露營，沒有點火器怎麼生火？” 即使沒有網絡連接，OmniAudio也能提供實用的指導。
• 語音對話：進行關於個人經歷的對話。當你說“我今天工作不順”時，OmniAudio會進行支持性的交談並積極傾聽。
• 創意內容生成：將語音提示轉化為創意作品。詢問“寫一首關於秋葉的俳句”，並獲得受你語音輸入啟發的詩歌回應。
• 錄音總結：只需詢問“你能總結一下這個會議記錄嗎？” 即可將冗長的錄音轉換為簡潔、可操作的總結。
• 語音語調修改：將隨意的語音備忘錄轉換為專業的溝通內容。當你請求“你能讓這個語音備忘錄更專業嗎？” 時，OmniAudio會在保留核心信息的同時調整語調。

📦 安裝指南

如何在設備上使用

步驟1：安裝Nexa - SDK（本地設備推理框架）

🚀 安裝Nexa - SDK

⚠️ 重要提示

Nexa - SDK是一個開源的本地設備推理框架，支持文本生成、圖像生成、視覺語言模型（VLM）、音頻語言模型、語音轉文本（ASR）和文本轉語音（TTS）功能。可通過Python包或可執行安裝程序進行安裝。

步驟2：然後在終端中運行以下代碼

nexa run omniaudio -st

💻 OmniAudio - 2.6B q4_K_M版本需要1.30GB的RAM和1.60GB的存儲空間。

🔧 技術細節

訓練

我們通過三階段訓練流程開發了OmniAudio：

• 預訓練：初始階段使用MLS英語10k轉錄數據集專注於核心音頻文本對齊。我們引入了一個特殊的<|transcribe|>標記，使模型能夠區分轉錄和完成任務，確保在各種用例中保持一致的性能。
• 有監督微調（SFT）：我們使用從MLS英語10k轉錄中派生的合成數據集來增強模型的對話能力。此階段利用專有模型生成上下文合適的響應，創建豐富的音頻文本對，以實現有效的對話理解。
• 直接偏好優化（DPO）：最後階段使用GPT - 4o API作為參考來優化模型質量。該過程識別並糾正不準確的響應，同時保持語義對齊。我們還利用Gemma2的文本響應作為黃金標準，以確保在音頻和文本輸入方面都保持一致的質量。

📚 詳細文檔

OmniAudio的未來規劃

OmniAudio正在積極開發中，我們正在努力提升其能力：

• 構建直接音頻生成功能，實現雙向語音通信
• 通過集成Octopus_v2實現函數調用支持

從長遠來看，我們的目標是將OmniAudio打造成基於邊緣的音頻語言處理的綜合解決方案。

📄 許可證

本項目採用Apache - 2.0許可證。

加入社區

Discord | X（Twitter）