I

Ichigo Llama3.1 S Base V0.3

由homebrewltd開發
Llama3-S系列模型是由Homebrew Research開發的多模態語言模型,原生支持音頻與文本輸入理解,基於Llama-3架構擴展了語音理解能力。
下載量 33
發布時間 : 9/9/2024

模型概述

該模型在擴展詞彙表基礎上,使用9億token的語音數據集進行了持續預訓練,旨在提升大語言模型的語音理解能力。

模型特點

多模態輸入支持
原生支持音頻與文本輸入理解,擴展了傳統語言模型的能力邊界。
語音理解優化
通過專門的數據集進行持續預訓練,顯著提升了語音理解能力。
高效訓練
採用torchtune庫實現最新的FSDP2訓練代碼,優化訓練效率。

模型能力

音頻理解
文本生成
多模態輸入處理

使用案例

語音研究
語音指令理解
解析和理解語音輸入的指令
在特定測試集上達到63.79 MMLU得分
教育研究
語言學習輔助
幫助學習者理解英語語音輸入
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase