Vitucano 2b8 V1

🚀 ViTucano-2b8-v1

ViTucano 是我們首次嘗試創建的以葡萄牙語進行原生預訓練的視覺助手。它將視覺理解與語言能力相結合，為多模態任務（如圖像描述、視覺問答等）提供了強大的工具。

🚀 快速開始

基本使用

⚠️ 通過 transformers 庫使用 ViTucano 模型需要執行遠程代碼（trust_remote_code=True）。執行的文件是 configuration.py 和 modeling_tinyllava_tucano.py，這兩個文件都可以在本倉庫中找到。⚠️

from tinyllava.eval.run_tiny_llava import eval_model

model_path = "TucanoBR/ViTucano-2b8-v1"
prompt = "Quais os principais elementos dessa imagem?"
image_file = "https://raw.githubusercontent.com/Nkluge-correa/TinyLLaVA_Factory/refs/heads/main/assets/sample.jpg"
conv_mode = "llama"

args = type('Args', (), {
    "model_path": model_path,
    "model": None,
    "query": prompt,
    "conv_mode": conv_mode,
    "image_file": image_file,
    "sep": ",",
    "temperature": 0,
    "top_p": None,
    "num_beams": 1,
    "max_new_tokens": 512
})()

eval_model(args)

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "TucanoBR/ViTucano-2b8-v1"
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model = AutoModelForCausalLM.from_pretrained(
  model_path, 
  #torch_dtype=torch.bfloat16, # for optimized inference  🚀
  #attn_implementation="flash_attention_2" # for optimized inference  🚀
  trust_remote_code=True)
model.to(device)

tokenizer = AutoTokenizer.from_pretrained(model_path)
prompt = "Quais os principais elementos dessa imagem?"
image_file="https://raw.githubusercontent.com/Nkluge-correa/TinyLLaVA_Factory/refs/heads/main/assets/sample.jpg"
output_text, _ = model.chat(prompt=prompt, image=image_file, tokenizer=tokenizer)

print(output_text)

✨ 主要特性

• 多模態融合：將視覺理解與語言能力相結合，適用於多種多模態任務。
• 葡萄牙語原生預訓練：專為葡萄牙語設計，在葡萄牙語相關任務上表現出色。

📚 詳細文檔

模型概述

ViTucano 基於 Tucano 系列，使用 TinyLLaVA Factory 構建。它能夠處理圖像和文本輸入，並生成相應的文本輸出。

詳細信息

本倉庫包含用於訓練此模型的 源代碼。

預期用途

ViTucano 模型的主要預期用途是作為涉及葡萄牙語基礎模型的研究和開發的基礎。如果您的使用遵循 Apache 2.0 許可證，也可以對 ViTucano 模型進行微調並部署。如果您決定將 ViTucano 模型作為微調模型的基礎，請自行進行風險和偏差評估。

不適用場景

• 不適合部署：ViTucano 模型不是即插即用的產品，不適合用於面向人類的交互。
• 僅支持葡萄牙語：ViTucano 模型僅適用於葡萄牙語，不適用於其他語言的圖像到文本生成任務。
• 未針對特定下游任務微調：ViTucano 模型未針對任何特定的下游任務進行微調。

侷限性

與幾乎所有在從網絡上抓取的大型數據集上訓練的多模態語言模型一樣，ViTucano 模型在許多實際應用中並非現成的解決方案，特別是那些需要事實、可靠和無毒文本生成的應用。ViTucano 模型存在以下問題：

• 幻覺問題：在解釋或描述視覺輸入時，ViTucano 模型可能會生成誤導性或完全錯誤的信息，導致產生可能被誤認為是準確觀察或事實陳述的幻覺。
• 偏差和毒性：ViTucano 模型繼承了訓練數據中的社會和歷史刻板印象。這些偏差可能會在對視覺或文本內容的有害、冒犯性或誤導性描述或分析中表現出來。
• 不可靠的視覺解釋：ViTucano 模型可能會對視覺元素（包括圖像中的對象、場景或文本）產生不準確的解釋。在沒有人工驗證的情況下，此類輸出不應被視為可靠的。
• 多模態語言限制：雖然 ViTucano 模型針對葡萄牙語進行了優化，但處理多語言視覺和文本上下文可能會導致錯誤、誤解或不充分的響應，特別是對於非葡萄牙語內容。
• 重複和無關細節：在特定超參數配置下，ViTucano 模型可能會表現出重複的響應模式，或者生成與給定視覺或文本輸入無關的冗長描述。

因此，儘管我們的模型以寬鬆的許可證發佈，但我們敦促用戶在將其用於實際應用之前進行風險分析。

📄 許可證

ViTucano 採用 Apache 許可證 2.0 版。有關更多詳細信息，請參閱 LICENSE 文件。

🔖 引用方式

ViTucano

@misc{correa2025vitucano,
    author={Corr{\^e}a, Nicholas Kluge and Sen, Aniket and Falk, Sophia and Fatimah, Shiza},
    title={{ViTucano: A Portuguese Vision Assitant}},
    year=2025,
    howpublished={\url{https://huggingface.co/TucanoBR/ViTucano-2b8-v1}},
    doi={10.57967/hf/4530},
    publisher={{Hugging Face}}
}

Tucano

@misc{correa2024tucanoadvancingneuraltext,
      title={{Tucano: Advancing Neural Text Generation for Portuguese}}, 
      author={Corr{\^e}a, Nicholas Kluge and Sen, Aniket and Falk, Sophia and Fatimah, Shiza},
      year={2024},
      eprint={2411.07854},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.07854}, 
}

TinyLLaVA Factory

@article{jia2024tinyllava,
  title={TinyLLaVA Factory: A Modularized Codebase for Small-scale Large Multimodal Models},
  author={Jia, Junlong and Hu, Ying and Weng, Xi and Shi, Yiming and Li, Miao and Zhang, Xingjian and Zhou, Baichuan and Liu, Ziyu and Luo, Jie and Huang, Lei and Wu, Ji},
  journal={arXiv preprint arXiv:2405.11788},
  year={2024}
}

LLaVA

@misc{liu2023llava,
      title={Visual Instruction Tuning}, 
      author={Liu, Haotian and Li, Chunyuan and Wu, Qingyang and Lee, Yong Jae},
      publisher={NeurIPS},
      year={2023},
}

🙏 致謝

我們衷心感謝 波恩大學 提供的 Marvin 集群 的使用權限，以及其高性能計算與分析實驗室提供的支持。