Liquid V1 7B

🚀 Liquid模型

Liquid是一種自迴歸生成範式，它通過將圖像標記為離散代碼，並在視覺和語言的共享特徵空間中與文本標記一起學習這些代碼嵌入，實現了視覺理解和生成的無縫集成。與以往的多模態大語言模型不同，Liquid使用單一的大語言模型實現了這種集成，無需外部預訓練的視覺嵌入。

🚀 快速開始

暫未提供快速開始相關內容。

✨ 主要特性

• 多模態集成：通過將圖像標記為離散代碼，並在視覺和語言的共享特徵空間中與文本標記一起學習這些代碼嵌入，實現了視覺理解和生成的無縫集成。
• 單一模型架構：使用單一的大語言模型實現了視覺和語言的集成，無需外部預訓練的視覺嵌入。
• 多種模型尺寸：提供了六種不同尺寸的預訓練模型（0.5B、1B、2B、7B、9B、32B參數）和一種指令調優模型（7B參數）。

📦 安裝指南

暫未提供安裝指南相關內容。

💻 使用示例

暫未提供使用示例相關內容。

📚 詳細文檔

模型詳情

我們推出了Liquid，這是一種自迴歸生成範式，它通過將圖像標記為離散代碼，並在視覺和語言的共享特徵空間中與文本標記一起學習這些代碼嵌入，實現了視覺理解和生成的無縫集成。與以往的多模態大語言模型（MLLM）不同，Liquid使用單一的大語言模型（LLM）實現了這種集成，無需外部預訓練的視覺嵌入，如CLIP。Liquid探索了這種多模態混合模型的縮放規律，並發現了理解和生成任務之間的相互促進現象。

變體：Liquid有六種尺寸——預訓練變體有來自多模態家族的0.5B、1B、2B、7B、9B、32B參數，指令調優變體有來自GEMMA的7B參數。

輸入：模型輸入文本和圖像。

輸出：模型生成文本或生成圖像。

模型架構：Liquid是一種基於現有大語言模型擴展的自迴歸模型，使用了Transformer架構。

引用說明

@article{wu2024liquid,
    title={Liquid: Language Models are Scalable Multi-modal Generators},
    author={Wu, Junfeng and Jiang, Yi and Ma, Chuofan and Liu, Yuliang and Zhao, Hengshuang and Yuan, Zehuan and Bai, Song and Bai, Xiang},
    journal={arXiv preprint arXiv:2412.04332},
    year={2024}
}

🔧 技術細節

暫未提供技術細節相關內容。

📄 許可證

本項目採用MIT許可證。

數據集

• mlfoundations/dclm-baseline-1.0
• cerebras/SlimPajama-627B
• bigcode/starcoderdata
• JourneyDB/JourneyDB

基礎模型

• google/gemma-7b

任務類型

任意到任意（any-to-any）