Shuka 1

🚀 Shuka v1 语言模型

Shuka v1 是一款能够原生理解印度语系音频的语言模型。它结合了先进的音频编码器与强大的解码器，为印度语系音频处理带来了高效且精准的解决方案，在多语言音频问答等场景中展现出卓越的性能。

🚀 快速开始

你可以通过以下步骤使用 Shuka v1：

# install libraries
# pip install transformers==4.41.2 peft==0.11.1 librosa==0.10.2

import transformers
import librosa

# load the model pipeline on gpu:0
pipe = transformers.pipeline(model='sarvamai/shuka_v1', trust_remote_code=True, device=0, torch_dtype='bfloat16')

# get a sample audio
# wget https://huggingface.co/sarvamai/shuka_v1/resolve/main/hi-question.webm

audio, sr = librosa.load("./hi-question.webm", sr=16000)
turns = [
          {'role': 'system', 'content': 'Respond naturally and informatively.'},
          {'role': 'user', 'content': '<|audio|>'}
        ]

pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=512)

✨ 主要特性

• 多语言支持：虽然仅在英语和印地语数据上微调投影器，但编码器的多语言特性使 Shuka v1 在其他印度语系语言的零样本问答中表现出色，已在孟加拉语、英语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语和泰卢固语等语言上进行了测试。
• 高效训练：遵循节俭训练模型的传统，Shuka v1 在不到 100 小时的音频数据上进行训练。
• 模型架构：由编码器 - 解码器架构组成，编码器采用自研的先进音频编码器 Saaras v1，解码器采用 Meta 的 Llama3 - 8B - Instruct，两者通过一个约 6000 万参数的小型投影器连接，训练时仅微调投影器的权重，其余网络保持冻结。

📦 安装指南

安装所需的库：

pip install transformers==4.41.2 peft==0.11.1 librosa==0.10.2

💻 使用示例

基础用法

# install libraries
# pip install transformers==4.41.2 peft==0.11.1 librosa==0.10.2

import transformers
import librosa

# load the model pipeline on gpu:0
pipe = transformers.pipeline(model='sarvamai/shuka_v1', trust_remote_code=True, device=0, torch_dtype='bfloat16')

# get a sample audio
# wget https://huggingface.co/sarvamai/shuka_v1/resolve/main/hi-question.webm

audio, sr = librosa.load("./hi-question.webm", sr=16000)
turns = [
          {'role': 'system', 'content': 'Respond naturally and informatively.'},
          {'role': 'user', 'content': '<|audio|>'}
        ]

pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=512)

📚 详细文档

更多详细信息，请查看我们的 博客。

📄 许可证

本项目采用 Llama3 许可证。

你还可以通过 演示视频 了解 Shuka v1 的功能。