Ming Lite Omni

🚀 明輕全模態模型（Ming-Lite-Omni）

明輕全模態模型（Ming-Lite-Omni）是一個輕量級的統一多模態模型，能夠高效處理圖像、文本、音頻和視頻等多種模態的數據，在語音和圖像生成方面表現出色，為多模態感知和生成任務提供了強大的解決方案。

📑 技術報告｜📖 項目主頁 ｜🤗 Hugging Face｜ 🤖 ModelScope

🚀 快速開始

請按照以下步驟下載並運行明輕全模態模型（Ming-Lite-Omni）：

1. 下載模型：參考模型下載部分的說明進行操作。
2. 安裝依賴：在Python環境中執行以下命令安裝所需的依賴庫。

pip install -r requirements.txt
pip install data/matcha_tts-0.0.5.1-cp38-cp38-linux_x86_64.whl
pip install diffusers==0.33.0
pip install nvidia-cublas-cu12==12.4.5.8  # for H20

注意：我們在配備CUDA 12.2的NVIDIA H800 - 80GB硬件上測試了以下示例。以bfloat16格式加載inclusionAI/Ming-Lite-Omni模型大約需要40890MB的內存。 3. 運行代碼示例：參考使用示例部分的代碼示例進行模型的調用和推理。

✨ 主要特性

• 統一全模態感知：基於Ling的MoE架構大語言模型，通過特定模態的路由機制解決任務衝突，確保不同模態的令牌能夠在統一框架下高效整合。
• 統一感知與生成：實現了多模態數據的統一理解和生成，能夠在生成過程中準確解讀多模態指令和用戶意圖，提升生成質量和多任務的可用性。
• 創新生成能力：具備感知所有模態數據的能力，並能同時生成高質量的文本、自然流暢的語音和生動逼真的圖像，在圖像感知、視聽交互和圖像生成等跨模態任務中表現卓越。

📦 安裝指南

環境依賴安裝

在Python環境中執行以下命令安裝所需的依賴庫：

pip install -r requirements.txt
pip install data/matcha_tts-0.0.5.1-cp38-cp38-linux_x86_64.whl
pip install diffusers==0.33.0
pip install nvidia-cublas-cu12==12.4.5.8  # for H20

💻 使用示例

基礎用法

import os
import torch
from transformers import AutoProcessor, GenerationConfig
from modeling_bailingmm import BailingMMNativeForConditionalGeneration

# 構建模型
model = BailingMMNativeForConditionalGeneration.from_pretrained(
    "inclusionAI/Ming-Lite-Omni",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True
).to("cuda")

assets_path = YOUR_ASSETS_PATH

# 構建處理器
processor = AutoProcessor.from_pretrained("inclusionAI/Ming-Lite-Omni", trust_remote_code=True)

高級用法

問答任務

# qa
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "請詳細介紹鸚鵡的生活習性。"}
        ],
    },
]
# 輸出:

# 鸚鵡是一種非常聰明和社交性強的鳥類，它們的生活習性非常豐富和有趣。以下是一些關於鸚鵡生活習性的詳細介紹：
# ### 1. **棲息地**
# 鸚鵡主要分佈在熱帶和亞熱帶地區，包括非洲、亞洲、澳大利亞和南美洲。它們通常生活在森林、草原、沙漠和城市環境中。不同種類的鸚鵡對棲息地的要求有所不同，但大多數鸚鵡喜歡有豐富植被和水源的地方。
# ### 2. **飲食**
# 鸚鵡是雜食性動物，它們的飲食非常多樣化。它們的食物包括種子、堅果、水果、蔬菜、花蜜和昆蟲。鸚鵡的喙非常強壯，能夠輕鬆地打開堅硬的果殼和堅果。一些鸚鵡還會吃泥土或沙子，以幫助消化和補充礦物質。
# ......

圖像問答任務

# image qa
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "image", "image": os.path.join(assets_path, "flowers.jpg")},
            {"type": "text", "text": "What kind of flower is this?"},
        ],
    },
]
# 輸出:

# The flowers in this image are forget - me - nots. These delicate blooms are known for their small, five - petaled flowers that come in various shades of blue, pink, and white. 

視頻問答任務

# video qa
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "video", "video": os.path.join(assets_path, "yoga.mp4")},
            {"type": "text", "text": "What is the woman doing?"},
        ],
    },
]
# 輸出:

# The image shows a woman performing a yoga pose on a rooftop. She's in a dynamic yoga pose, with her arms and legs extended in various positions.

多輪對話任務

# multi - turn chat
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "中國的首都是哪裡？"},
        ],
    },
    {
        "role": "ASSISTANT",
        "content": [
            {"type": "text", "text": "北京"},
        ],
    },
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "它的佔地面積是多少？有多少常住人口？"},
        ],
    },
]
# 輸出:

# 北京市的總面積約為16,410.54平方公里，常住人口約為21,542,000人。

推理準備與生成調用

# 推理準備
text = processor.apply_chat_template(messages, add_generation_prompt=True)
image_inputs, video_inputs, audio_inputs = processor.process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    audios=audio_inputs,
    return_tensors="pt",
)
inputs = inputs.to(model.device)
for k in inputs.keys():
    if k == "pixel_values" or k == "pixel_values_videos" or k == "audio_feats":
        inputs[k] = inputs[k].to(dtype=torch.bfloat16)

# 調用生成方法
generation_config = GenerationConfig.from_dict({'no_repeat_ngram_size': 10})
generated_ids = model.generate(
    **inputs,
    max_new_tokens=512,
    use_cache=True,
    eos_token_id=processor.gen_terminator,
    generation_config=generation_config,
)
generated_ids_trimmed = [
        out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
    ]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(output_text)

音頻任務

自動語音識別（ASR）

# ASR
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "Please recognize the language of this speech and transcribe it. Format: oral."},
            {"type": "audio", "audio": 'data/wavs/BAC009S0915W0292.wav'},
        ],
    },
]
# 我們在ASR任務中使用whisper編碼器，因此需要修改上述代碼
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    audios=audio_inputs,
    return_tensors="pt",
    audio_kwargs={'use_whisper_encoder': True}
)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    use_cache=True,
    eos_token_id=processor.gen_terminator,
    generation_config=generation_config,
    use_whisper_encoder=True
)

語音到語音轉換

# speech2speech
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "audio", "audio": 'data/wavs/speechQA_sample.wav'},
        ],
    },
]
generation_config = GenerationConfig.from_dict({
    'output_hidden_states': True,
    'return_dict_in_generate': True,
    'no_repeat_ngram_size': 10}
)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    use_cache=True,
    eos_token_id=processor.gen_terminator,
    generation_config=generation_config,
    us

📚 詳細文檔

模型信息

模型下載

你可以從Hugging Face和ModelScope平臺下載該模型。

注意：如果你在中國內地，強烈建議你從🤖 ModelScope下載我們的模型。

使用案例

更多演示案例請參考我們的項目主頁。

評估結果

明輕全模態模型（Ming-Lite-Omni）在圖像感知、視聽交互和圖像生成等跨模態任務中表現出色。具體評估結果如下：

圖像基準測試

百科基準測試

視頻基準測試

注意：所有模型均基於128個均勻採樣的幀進行評估。

音頻基準測試

語音問答（SpeechQA）

自動語音識別（ASR）

信息檢索基準測試

OCR基準測試

GUI基準測試

注意：* 表示復現結果。

統一生成基準測試

更多全面的評估結果請參考我們的技術報告。

🔧 技術細節

明輕全模態模型（Ming-lite-omni）是Ming-omni的輕量級版本，它基於Ling-lite開發，擁有28億個激活參數。該模型採用專用編碼器從不同模態中提取令牌，然後由配備新提出的特定模態路由器的MoE架構Ling進行處理。這種設計使得單個模型能夠在統一框架內高效處理和融合多模態輸入，從而支持多樣化的任務，無需單獨的模型、特定任務的微調或結構重新設計。

重要的是，Ming-lite-omni超越了傳統的多模態模型，支持音頻和圖像生成。這是通過集成先進的音頻解碼器實現自然語音生成，以及使用Ming-Lite-Uni實現高質量圖像生成來完成的。這些功能還使模型能夠進行上下文感知的聊天、執行文本到語音轉換和進行多功能圖像編輯。我們的實驗結果表明，Ming-lite-omni為所有模態的統一感知和生成提供了強大的解決方案。

值得注意的是，據我們所知，Ming-lite-omni是第一個在模態支持方面與GPT-4o相匹配的開源模型，我們發佈了所有代碼和模型權重，以鼓勵社區進行進一步的研究和開發。

📄 許可證

本項目採用MIT許可證。具體許可證信息請參考相關文件。