Ichigo Llama3.1 S Instruct V0.3 Phase 2

🚀 Ichigo-llama3s 語音指令語言模型

Ichigo-llama3s 是 Homebrew Research 開發的一系列模型，能夠原生理解音頻和文本輸入。該模型家族在語音理解能力上有顯著提升，適用於相關的研究應用。

🚀 快速開始

你可以通過 Google Colab Notebook 來體驗這個模型。

步驟 1：將音頻文件轉換為聲音令牌

device = "cuda" if torch.cuda.is_available() else "cpu"
if not os.path.exists("whisper-vq-stoks-medium-en+pl-fixed.model"):
    hf_hub_download(
        repo_id="jan-hq/WhisperVQ",
        filename="whisper-vq-stoks-medium-en+pl-fixed.model",
        local_dir=".",
    )
vq_model = RQBottleneckTransformer.load_model(
        "whisper-vq-stoks-medium-en+pl-fixed.model"
    ).to(device)
vq_model.ensure_whisper(device)
def audio_to_sound_tokens(audio_path, target_bandwidth=1.5, device=device):

    wav, sr = torchaudio.load(audio_path)
    if sr != 16000:
        wav = torchaudio.functional.resample(wav, sr, 16000)
    with torch.no_grad():
        codes = vq_model.encode_audio(wav.to(device))
        codes = codes[0].cpu().tolist()

    result = ''.join(f'<|sound_{num:04d}|>' for num in codes)
    return f'<|sound_start|>{result}<|sound_end|>'

步驟 2：進行推理

def setup_pipeline(model_path, use_4bit=False, use_8bit=False):
    tokenizer = AutoTokenizer.from_pretrained(model_path)

    model_kwargs = {"device_map": "auto"}

    if use_4bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_compute_dtype=torch.bfloat16,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
        )
    elif use_8bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_8bit=True,
            bnb_8bit_compute_dtype=torch.bfloat16,
            bnb_8bit_use_double_quant=True,
        )
    else:
        model_kwargs["torch_dtype"] = torch.bfloat16

    model = AutoModelForCausalLM.from_pretrained(model_path, **model_kwargs)

    return pipeline("text-generation", model=model, tokenizer=tokenizer)

def generate_text(pipe, messages, max_new_tokens=64, temperature=0.0, do_sample=False):
    generation_args = {
        "max_new_tokens": max_new_tokens,
        "return_full_text": False,
        "temperature": temperature,
        "do_sample": do_sample,
    }

    output = pipe(messages, **generation_args)
    return output[0]['generated_text']

# 使用示例
llm_path = "homebrewltd/llama3.1-s-instruct-v0.2"
pipe = setup_pipeline(llm_path, use_8bit=True)

✨ 主要特性

• 多模態輸入：原生支持音頻和文本輸入。
• 語義令牌實驗：使用 WhisperVQ 作為音頻文件的分詞器，擴展了語義令牌實驗。

📦 安裝指南

文檔未提及具體安裝步驟，可參考快速開始部分的代碼示例進行環境配置和模型使用。

💻 使用示例

基礎用法

# 轉換音頻文件為聲音令牌
device = "cuda" if torch.cuda.is_available() else "cpu"
if not os.path.exists("whisper-vq-stoks-medium-en+pl-fixed.model"):
    hf_hub_download(
        repo_id="jan-hq/WhisperVQ",
        filename="whisper-vq-stoks-medium-en+pl-fixed.model",
        local_dir=".",
    )
vq_model = RQBottleneckTransformer.load_model(
        "whisper-vq-stoks-medium-en+pl-fixed.model"
    ).to(device)
vq_model.ensure_whisper(device)
def audio_to_sound_tokens(audio_path, target_bandwidth=1.5, device=device):

    wav, sr = torchaudio.load(audio_path)
    if sr != 16000:
        wav = torchaudio.functional.resample(wav, sr, 16000)
    with torch.no_grad():
        codes = vq_model.encode_audio(wav.to(device))
        codes = codes[0].cpu().tolist()

    result = ''.join(f'<|sound_{num:04d}|>' for num in codes)
    return f'<|sound_start|>{result}<|sound_end|>'

# 進行推理
def setup_pipeline(model_path, use_4bit=False, use_8bit=False):
    tokenizer = AutoTokenizer.from_pretrained(model_path)

    model_kwargs = {"device_map": "auto"}

    if use_4bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_compute_dtype=torch.bfloat16,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
        )
    elif use_8bit:
        model_kwargs["quantization_config"] = BitsAndBytesConfig(
            load_in_8bit=True,
            bnb_8bit_compute_dtype=torch.bfloat16,
            bnb_8bit_use_double_quant=True,
        )
    else:
        model_kwargs["torch_dtype"] = torch.bfloat16

    model = AutoModelForCausalLM.from_pretrained(model_path, **model_kwargs)

    return pipeline("text-generation", model=model, tokenizer=tokenizer)

def generate_text(pipe, messages, max_new_tokens=64, temperature=0.0, do_sample=False):
    generation_args = {
        "max_new_tokens": max_new_tokens,
        "return_full_text": False,
        "temperature": temperature,
        "do_sample": do_sample,
    }

    output = pipe(messages, **generation_args)
    return output[0]['generated_text']

# 使用示例
llm_path = "homebrewltd/llama3.1-s-instruct-v0.2"
pipe = setup_pipeline(llm_path, use_8bit=True)

📚 詳細文檔

模型詳情

• 模型開發者：Homebrew Research。
• 輸入：文本和聲音。
• 輸出：文本。
• 模型架構：Llama - 3。
• 語言：英語。

我們開發併發布了 Ichigo-llama3s 模型家族。該家族能夠原生理解音頻和文本輸入。我們使用 Instruction Speech WhisperVQ v3 數據集中近 10 億個令牌，從 homebrewltd/Ichigo-llama3.1-s-base-v0.3 開始，將 WhisperVQ 作為音頻文件的分詞器，擴展了語義令牌實驗。這是第 7000 步的模型檢查點。由於訓練數據中存在一些噪聲，該模型在語音指令基準測試中的得分人為偏高。

預期用途

• 預期用例：主要用於研究應用，此版本旨在進一步提高大語言模型的聲音理解能力。
• 禁止用途：嚴禁以任何違反適用法律法規的方式使用 llama3 - s。

🔧 技術細節

訓練過程

訓練指標圖像

MMLU 評估

AudioBench 評估

硬件

• GPU 配置：8 個 NVIDIA H100 - SXM - 80GB 的集群。
• GPU 使用時間：持續訓練 12 小時。

訓練參數

我們使用 torchtune 庫實現最新的 FSDP2 訓練代碼。

📄 許可證

本項目採用 apache - 2.0 許可證。

📖 引用信息

BibTeX：

@article{Llama3-S: Sound Instruction Language Model 2024,
  title={Llama3-S},
  author={Homebrew Research},
  year=2024,
  month=August,
  url={https://huggingface.co/homebrewltd/llama3.1-s-2024-08-20}

🙏 致謝

• WhisperSpeech
• [Meta - Llama - 3.1 - 8B - Instruct ](https://huggingface.co/meta - llama/Meta - Llama - 3.1 - 8B - Instruct)