Llama3.1 Typhoon2 Audio 8b Instruct

🚀 Typhoon2-Audio

Typhoon2-Audio 是一個端到端的語音到語音模型架構，能夠處理音頻、語音和文本輸入，並同時生成文本和語音輸出。它專門針對泰語進行了優化，但也支持英語。

• GitHub：https://github.com/scb-10x/typhoon2-audio/
• 演示：https://audio.opentyphoon.ai/
• 論文：https://arxiv.org/abs/2412.13702

✨ 主要特性

• 端到端的語音到語音處理能力，支持音頻、語音和文本輸入，可同時生成文本和語音輸出。
• 專門針對泰語優化，同時支持英語。

📦 安裝指南

pip install pip==24.0
pip install transformers==4.45.2
pip install fairseq==0.12.2 # fairseq required pip==24.0 to install & only worked only on python 3.10
pip install flash-attn

💻 使用示例

基礎用法

加載模型

import torch
from transformers import AutoModel
model = AutoModel.from_pretrained(
    "scb10x/llama3.1-typhoon2-audio-8b-instruct",
    torch_dtype=torch.float16, 
    trust_remote_code=True
)
model.to("cuda")

單輪推理示例

conversation = [
    {"role": "system", "content": "You are a helpful female assistant named ไต้ฝุ่น."},
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "audio_url": "examples/tmp-2860cd0a094b64043226167340af03a3.wav",
            },
            {"type": "text", "text": "Transcribe this audio"},
        ],
    },
]
x = model.generate(
    conversation=conversation,
    max_new_tokens=500,
    do_sample=True,
    num_beams=1,
    top_p=0.9,
    repetition_penalty=1.0,
    length_penalty=1.0,
    temperature=0.7,
)
# x => x['text'] (text), x['audio'] (numpy array)
# to save the audio output
# import soundfile as sf
# sf.write("examples/speechout.wav", x["audio"]["array"], x["audio"]["sampling_rate"])

高級用法

多輪推理示例

conversation_multi_turn = [
    {
        "role": "system",
        "content": "You are a helpful female assistant named ไต้ฝุ่น. Respond conversationally to the speech provided in the language it is spoken in.",
    },
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "audio_url": "examples/tmp-2860cd0a094b64043226167340af03a3.wav",
                # บอกชื่อเมืองใหญ่ๆในอเมริกามาให้หน่อยสิ -- "List some names of US cities"
            },
            {
                "type": "text",
                "text": "",
            },
        ],
    },
    {
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "โอเคค่ะ, ฉันจะบอกชื่อเมืองใหญ่ๆ ในอเมริกาให้คุณฟัง:\n\n1. นิวยอร์ก\n2. ลอสแอนเจลิส\n3. ชิคาโก\n4. ฮิวสตัน\n5. ฟิลาเดลเฟีย\n6. บอสตัน\n7. ซานฟรานซิสโก\n8. วอชิงตัน ดี.ซี. (Washington D.C.)\n9. แอตแลนต้า\n10. ซีแอตเทิล\n\nถ้าคุณต้องการข้อมูลเพิ่มเติมหรือมีคำถามอื่นๆ กรุณาถามได้เลยค่ะ'",
            },
        ],
    },
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "audio_url": "examples/tmp-2284cd76e1c875525ff75327a2fc3610.wav",
                # แล้วถ้าเป็นประเทศอังกฤษล่ะ -- "How about the UK"

            },
        ],
    },
]
x = model.generate(conversation=conversation_multi_turn)
# x => x['text'] (text), x['audio'] (numpy array)
# to save the audio output
# import soundfile as sf
# sf.write("examples/speechout.wav", x["audio"]["array"], x["audio"]["sampling_rate"])

文本轉語音功能

y = model.synthesize_speech("Hello, my name is ไต้ฝุ่น I am a language model specialized in Thai")
# y => numpy array

📚 詳細文檔

模型描述

評估結果

1) 音頻和語音理解

2) 語音到語音評估

2.1) 內容生成

2.2) 語音質量

*注意，Llama - Omni 不生成泰語文本/語音，因此由於輸出為英語，其 CER 較低且 UTMOS 較高。

預期用途與限制

⚠️ 重要提示

該模型處於實驗階段，可能並不總是能準確遵循人類指令，容易產生幻覺內容。此外，該模型缺乏審核機制，可能會產生有害或不適當的回覆。開發者應根據具體應用仔細評估潛在風險。

關注與支持

• https://twitter.com/opentyphoon
• https://discord.gg/us5gAYmrxw

致謝

我們要感謝 SALMONN 團隊和 Llama - Omni 團隊開源他們的代碼和數據，感謝瑪希隆大學的生物醫學與數據實驗室發佈的微調版 Whisper，使我們能夠採用其編碼器。同時感謝許多其他開源項目分享有用的知識、數據、代碼和模型權重。

Typhoon 團隊

Potsawee Manakul, Warit Sirichotedumrong, Kunat Pipatanakul, Pittawat Taveekitworachai, Natapong Nitarach, Surapon Nonesung, Teetouch Jaknamon, Parinthapat Pengpun, Pittawat Taveekitworachai, Adisai Na - Thalang, Sittipong Sripaisarnmongkol, Krisanapong Jirayoot, Kasima Tharnpipitchai

引用

如果您發現 Typhoon2 對您的工作有幫助，請使用以下方式引用：

@misc{typhoon2,
      title={Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models}, 
      author={Kunat Pipatanakul and Potsawee Manakul and Natapong Nitarach and Warit Sirichotedumrong and Surapon Nonesung and Teetouch Jaknamon and Parinthapat Pengpun and Pittawat Taveekitworachai and Adisai Na-Thalang and Sittipong Sripaisarnmongkol and Krisanapong Jirayoot and Kasima Tharnpipitchai},
      year={2024},
      eprint={2412.13702},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13702}, 
}

📄 許可證

該模型的語音輸入與大語言模型遵循 Llama 3.1 Community License，語音輸出遵循 CC-BY-NC。