Llama3.1 Typhoon2 Audio 8b Instruct

🚀 Typhoon2-Audio

Typhoon2-Audio 是一个端到端的语音到语音模型架构，能够处理音频、语音和文本输入，并同时生成文本和语音输出。它专门针对泰语进行了优化，但也支持英语。

• GitHub：https://github.com/scb-10x/typhoon2-audio/
• 演示：https://audio.opentyphoon.ai/
• 论文：https://arxiv.org/abs/2412.13702

✨ 主要特性

• 端到端的语音到语音处理能力，支持音频、语音和文本输入，可同时生成文本和语音输出。
• 专门针对泰语优化，同时支持英语。

📦 安装指南

pip install pip==24.0
pip install transformers==4.45.2
pip install fairseq==0.12.2 # fairseq required pip==24.0 to install & only worked only on python 3.10
pip install flash-attn

💻 使用示例

基础用法

加载模型

import torch
from transformers import AutoModel
model = AutoModel.from_pretrained(
    "scb10x/llama3.1-typhoon2-audio-8b-instruct",
    torch_dtype=torch.float16, 
    trust_remote_code=True
)
model.to("cuda")

单轮推理示例

conversation = [
    {"role": "system", "content": "You are a helpful female assistant named ไต้ฝุ่น."},
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "audio_url": "examples/tmp-2860cd0a094b64043226167340af03a3.wav",
            },
            {"type": "text", "text": "Transcribe this audio"},
        ],
    },
]
x = model.generate(
    conversation=conversation,
    max_new_tokens=500,
    do_sample=True,
    num_beams=1,
    top_p=0.9,
    repetition_penalty=1.0,
    length_penalty=1.0,
    temperature=0.7,
)
# x => x['text'] (text), x['audio'] (numpy array)
# to save the audio output
# import soundfile as sf
# sf.write("examples/speechout.wav", x["audio"]["array"], x["audio"]["sampling_rate"])

高级用法

多轮推理示例

conversation_multi_turn = [
    {
        "role": "system",
        "content": "You are a helpful female assistant named ไต้ฝุ่น. Respond conversationally to the speech provided in the language it is spoken in.",
    },
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "audio_url": "examples/tmp-2860cd0a094b64043226167340af03a3.wav",
                # บอกชื่อเมืองใหญ่ๆในอเมริกามาให้หน่อยสิ -- "List some names of US cities"
            },
            {
                "type": "text",
                "text": "",
            },
        ],
    },
    {
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "โอเคค่ะ, ฉันจะบอกชื่อเมืองใหญ่ๆ ในอเมริกาให้คุณฟัง:\n\n1. นิวยอร์ก\n2. ลอสแอนเจลิส\n3. ชิคาโก\n4. ฮิวสตัน\n5. ฟิลาเดลเฟีย\n6. บอสตัน\n7. ซานฟรานซิสโก\n8. วอชิงตัน ดี.ซี. (Washington D.C.)\n9. แอตแลนต้า\n10. ซีแอตเทิล\n\nถ้าคุณต้องการข้อมูลเพิ่มเติมหรือมีคำถามอื่นๆ กรุณาถามได้เลยค่ะ'",
            },
        ],
    },
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "audio_url": "examples/tmp-2284cd76e1c875525ff75327a2fc3610.wav",
                # แล้วถ้าเป็นประเทศอังกฤษล่ะ -- "How about the UK"

            },
        ],
    },
]
x = model.generate(conversation=conversation_multi_turn)
# x => x['text'] (text), x['audio'] (numpy array)
# to save the audio output
# import soundfile as sf
# sf.write("examples/speechout.wav", x["audio"]["array"], x["audio"]["sampling_rate"])

文本转语音功能

y = model.synthesize_speech("Hello, my name is ไต้ฝุ่น I am a language model specialized in Thai")
# y => numpy array

📚 详细文档

模型描述

评估结果

1) 音频和语音理解

2) 语音到语音评估

2.1) 内容生成

2.2) 语音质量

*注意，Llama - Omni 不生成泰语文本/语音，因此由于输出为英语，其 CER 较低且 UTMOS 较高。

预期用途与限制

⚠️ 重要提示

该模型处于实验阶段，可能并不总是能准确遵循人类指令，容易产生幻觉内容。此外，该模型缺乏审核机制，可能会产生有害或不适当的回复。开发者应根据具体应用仔细评估潜在风险。

关注与支持

• https://twitter.com/opentyphoon
• https://discord.gg/us5gAYmrxw

致谢

我们要感谢 SALMONN 团队和 Llama - Omni 团队开源他们的代码和数据，感谢玛希隆大学的生物医学与数据实验室发布的微调版 Whisper，使我们能够采用其编码器。同时感谢许多其他开源项目分享有用的知识、数据、代码和模型权重。

Typhoon 团队

Potsawee Manakul, Warit Sirichotedumrong, Kunat Pipatanakul, Pittawat Taveekitworachai, Natapong Nitarach, Surapon Nonesung, Teetouch Jaknamon, Parinthapat Pengpun, Pittawat Taveekitworachai, Adisai Na - Thalang, Sittipong Sripaisarnmongkol, Krisanapong Jirayoot, Kasima Tharnpipitchai

引用

如果您发现 Typhoon2 对您的工作有帮助，请使用以下方式引用：

@misc{typhoon2,
      title={Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models}, 
      author={Kunat Pipatanakul and Potsawee Manakul and Natapong Nitarach and Warit Sirichotedumrong and Surapon Nonesung and Teetouch Jaknamon and Parinthapat Pengpun and Pittawat Taveekitworachai and Adisai Na-Thalang and Sittipong Sripaisarnmongkol and Krisanapong Jirayoot and Kasima Tharnpipitchai},
      year={2024},
      eprint={2412.13702},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13702}, 
}

📄 许可证

该模型的语音输入与大语言模型遵循 Llama 3.1 Community License，语音输出遵循 CC-BY-NC。