S

Speechgpt 7B Ma

由fnlp開發
SpeechGPT是一個具備內在跨模態對話能力的大型語言模型,能夠根據人類指令感知和生成多模態內容。
下載量 37
發布時間 : 9/14/2023

模型概述

SpeechGPT通過離散語音表徵構建了跨模態語音指令數據集,採用三階段訓練策略,具備出色的多模態人類指令跟隨能力。

模型特點

跨模態對話能力
能夠同時處理語音和文本輸入輸出,實現真正的跨模態交互
三階段訓練策略
採用模態適應預訓練、跨模態指令微調和模態鏈式指令微調的三階段訓練方法
大規模語音指令數據集
構建了SpeechInstruct數據集,包含約900萬對單元-文本數據

模型能力

語音識別
語音合成
跨模態對話
文本生成
指令跟隨

使用案例

個人助理
語音問答
通過語音提問獲取信息回答
可準確理解問題並生成語音或文本回答
教育
語言學習
幫助學習者練習英語聽說能力
可提供語音交互式學習體驗
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase