Llava Critic 7b Hf

🚀 transformers

このライブラリは、特定のモデルを変換したもので、transformersと互換性があります。具体的には、特定の問題を解決するためのモデルを提供します。

🚀 クイックスタート

このセクションでは、このライブラリの基本的な使い方を説明します。

🔍 注意事項

これは、lmms-lab/llava-critic-7b から convert_llava_onevision_weights_to_hf.py を使用して変換された、transformers互換の llava-critic-7b モデルです。

ただし、修正すべき 精度の問題 がいくつか存在する可能性があります。詳細は、#34467 を参照してください。

💡 vLLMの要件

最新のvLLM (0.6.3.post1) では、モデルを提供する際に深刻なバグがあります。詳細は vllm #9848 を参照してください。

この問題を回避するために、vllm==0.6.2 の使用をお勧めします。