Shuka 1

🚀 Shuka v1

Shuka v1は、インド諸語の音声をネイティブに理解する言語モデルです。2つのモデルを組み合わせて構築されたエンコーダ・デコーダモデルです。

• 当社の最先端のオンプレミス音声エンコーダ：Saaras v1
• デコーダとしてMetaのLlama3 - 8B - Instruct

エンコーダとデコーダは、約6000万のパラメータを持つ小さなプロジェクターで接続されています。学習中は、プロジェクターの重みのみが微調整され、ネットワークの残りの部分は凍結されます。効率的なモデル学習の伝統に則り、Shuka v1は100時間未満の音声データで学習されています。

英語とヒンディー語のデータでプロジェクターのみを微調整していますが、エンコーダの多言語性により、Shuka v1は他のインド諸語でのゼロショットQAでも良好な性能を発揮します。ベンガル語、英語、グジャラート語、ヒンディー語、カンナダ語、マラヤーラム語、マラーティー語、オリヤー語、パンジャーブ語、タミル語、テルグ語でモデルをテストしています。

このデモビデオでShuka v1の機能を確認し、以下のようにHugging Faceのパイプラインを使用して始めましょう。

🚀 クイックスタート

必要ライブラリのインストール

# install libraries
# pip install transformers==4.41.2 peft==0.11.1 librosa==0.10.2

コード例

import transformers
import librosa

# load the model pipeline on gpu:0
pipe = transformers.pipeline(model='sarvamai/shuka_v1', trust_remote_code=True, device=0, torch_dtype='bfloat16')

# get a sample audio
# wget https://huggingface.co/sarvamai/shuka_v1/resolve/main/hi-question.webm

audio, sr = librosa.load("./hi-question.webm", sr=16000)
turns = [
          {'role': 'system', 'content': 'Respond naturally and informatively.'},
          {'role': 'user', 'content': '<|audio|>'}
        ]

pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=512)

📚 ドキュメント

詳細については、ブログを参照してください。

📄 ライセンス

このモデルはllama3ライセンスの下で提供されています。