Ichigo Llama3.1 S Instruct V0.4

🚀 Ichigo-llama3sモデル

Ichigo-llama3sは、音声とテキストの入力をネイティブに理解するモデルファミリーで、音声理解能力を強化することを目的としています。

🚀 クイックスタート

このモデルをGoogle Colab Notebookを使って試すことができます。

まず、音声ファイルを音声トークンに変換する必要があります。

device = "cuda" if torch.cuda.is_available() else "cpu"
if not os.path.exists("whisper-vq-stoks-medium-en+pl-fixed.model"):
    hf_hub_download(
        repo_id="jan-hq/WhisperVQ",
        filename="whisper-vq-stoks-medium-en+pl-fixed.model",
        local_dir=".",
    )
vq_model = RQBottleneckTransformer.load_model(
        "whisper-vq-stoks-medium-en+pl-fixed.model"
    ).to(device)
vq_model.ensure_whisper(device)
def audio_to_sound_tokens(audio_path, target_bandwidth=1.5, device=device):

    wav, sr = torchaudio.load(audio_path)
    if sr != 16000:
        wav = torchaudio.functional.resample(wav, sr, 16000)
    with torch.no_grad():
        codes = vq_model.encode_audio(wav.to(device))
        codes = codes[0].cpu().tolist()

    result = ''.join(f'<|sound_{num:04d}|>' for num in codes)
    return f'<|sound_start|>{result}<|sound_end|>'

次に、他のLLMと同じようにモデルを推論することができます。

def setup_pipeline(model_path, use_4bit=False, use_8bit=False):
    tokenizer = AutoTokenizer.from_pretrained(model_path)

    model_kwargs = {"device_map": "auto"}

    if use_4bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_compute_dtype=torch.bfloat16,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
        )
    elif use_8bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_8bit=True,
            bnb_8bit_compute_dtype=torch.bfloat16,
            bnb_8bit_use_double_quant=True,
        )
    else:
        model_kwargs["torch_dtype"] = torch.bfloat16

    model = AutoModelForCausalLM.from_pretrained(model_path, **model_kwargs)

    return pipeline("text-generation", model=model, tokenizer=tokenizer)

def generate_text(pipe, messages, max_new_tokens=64, temperature=0.0, do_sample=False):
    generation_args = {
        "max_new_tokens": max_new_tokens,
        "return_full_text": False,
        "temperature": temperature,
        "do_sample": do_sample,
    }

    output = pipe(messages, **generation_args)
    return output[0]['generated_text']

# Usage
llm_path = "homebrewltd/llama3.1-s-instruct-v0.2"
pipe = setup_pipeline(llm_path, use_8bit=True)

✨ 主な機能

このモデルファミリーは、音声とテキストの入力をネイティブに理解することができます。このモデルは、homebrewltd/Ichigo-llama3.1-s-base-v0.3の教師あり微調整（SFT）バージョンで、Instruction Speech WhisperVQ v4データセットの10億以上のトークンで学習されています。このデータセットはInstruction Speech WhisperVQ v3をベースに構築されており、マルチターンの音声会話とノイズ除去機能が追加されています。その結果、モデルはノイズの多い環境入力に対する堅牢性が向上し、マルチターンの会話能力が強化され、実世界のアプリケーションでより信頼性が高くなります。

📦 インストール

このモデルを使用するには、上記のコードサンプルに従って、必要なライブラリをインストールし、モデルを設定する必要があります。

💻 使用例

基本的な使用法

device = "cuda" if torch.cuda.is_available() else "cpu"
if not os.path.exists("whisper-vq-stoks-medium-en+pl-fixed.model"):
    hf_hub_download(
        repo_id="jan-hq/WhisperVQ",
        filename="whisper-vq-stoks-medium-en+pl-fixed.model",
        local_dir=".",
    )
vq_model = RQBottleneckTransformer.load_model(
        "whisper-vq-stoks-medium-en+pl-fixed.model"
    ).to(device)
vq_model.ensure_whisper(device)
def audio_to_sound_tokens(audio_path, target_bandwidth=1.5, device=device):

    wav, sr = torchaudio.load(audio_path)
    if sr != 16000:
        wav = torchaudio.functional.resample(wav, sr, 16000)
    with torch.no_grad():
        codes = vq_model.encode_audio(wav.to(device))
        codes = codes[0].cpu().tolist()

    result = ''.join(f'<|sound_{num:04d}|>' for num in codes)
    return f'<|sound_start|>{result}<|sound_end|>'

高度な使用法

def setup_pipeline(model_path, use_4bit=False, use_8bit=False):
    tokenizer = AutoTokenizer.from_pretrained(model_path)

    model_kwargs = {"device_map": "auto"}

    if use_4bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_compute_dtype=torch.bfloat16,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
        )
    elif use_8bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_8bit=True,
            bnb_8bit_compute_dtype=torch.bfloat16,
            bnb_8bit_use_double_quant=True,
        )
    else:
        model_kwargs["torch_dtype"] = torch.bfloat16

    model = AutoModelForCausalLM.from_pretrained(model_path, **model_kwargs)

    return pipeline("text-generation", model=model, tokenizer=tokenizer)

def generate_text(pipe, messages, max_new_tokens=64, temperature=0.0, do_sample=False):
    generation_args = {
        "max_new_tokens": max_new_tokens,
        "return_full_text": False,
        "temperature": temperature,
        "do_sample": do_sample,
    }

    output = pipe(messages, **generation_args)
    return output[0]['generated_text']

# Usage
llm_path = "homebrewltd/llama3.1-s-instruct-v0.2"
pipe = setup_pipeline(llm_path, use_8bit=True)

📚 ドキュメント

モデル詳細

想定される使用方法

このモデルファミリーは主に研究アプリケーションを目的としています。このバージョンは、音声理解能力に関するLLMをさらに改善することを目指しています。ただし、llama3-sを適用可能な法律や規制に違反する方法で使用することは厳禁です。

トレーニングプロセス

トレーニングメトリクス画像

以下は、トレーニング損失曲線を可視化したスナップショットです。

MMLU

AudioBench評価

ハードウェア

• GPU構成: 8台のNVIDIA H100-SXM-80GBのクラスター。
• GPU使用時間:
  • 継続的なトレーニング: 12時間。

トレーニング引数

最新のFSDP2トレーニングコード実装には、torchtuneライブラリを利用しています。

サンプル

1. 良い例:

2. 誤解の例:

3. 逸脱した例:

引用情報

BibTeX:

@article{Llama3-S: Sound Instruction Language Model 2024,
  title={Llama3-S},
  author={Homebrew Research},
  year=2024,
  month=August},
  url={https://huggingface.co/homebrewltd/llama3.1-s-2024-08-20}

謝辞

• WhisperSpeech
• Meta-Llama-3.1-8B-Instruct

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。