YOLO LLaMa 7B VisNav

🚀 視覺導航項目

本項目旨在為視障人士的日常導航提供支持，結合了先進的目標檢測和大語言模型技術，為視障人士帶來更智能、更便捷的導航體驗。

🚀 快速開始

本項目結合了 YOLO 模型和 LLaMa 2 7b 進行導航。

YOLO 模型在來自 AI Hub 的邊界框數據上進行訓練，其輸出（邊界框數據）會轉換為類似 [[class_of_obj_1, xmin, xmax, ymin, ymax, size], [class_of...] ...] 的列表，然後添加到問題輸入中。大語言模型（LLM）則使用 LearnItAnyway/Visual-Navigation-21k 多輪數據集進行導航訓練。

💻 使用示例

我們在 yolo_llama_visnav_test.ipynb 中展示瞭如何使用該模型。

📄 許可證

本項目採用其他許可證。