EraX-VL-7B-V2.0-Preview-i1-GGUFオープンソースモデル - 多様な量子化バージョンで多様なニーズを満たす

ホーム

Erax VL 7B V2.0 Preview I1 GGUF

mradermacherによって開発

これはEraX-VL-7B-V2.0-Previewモデルを重み/重要度行列量子化した結果で、様々なニーズに対応する複数の量子化バージョンを提供します

画像生成テキスト複数言語対応オープンソースライセンス:Apache-2.0 #マルチモーダルQA #ベトナム語OCR #医療文書処理

ダウンロード数 246

リリース時間 : 1/12/2025

モデル概要

ベトナム語、英語、中国語をサポートするマルチモーダル視覚言語モデルで、様々な文書や画像理解タスクに適しています

モデル特徴

多言語サポート

ベトナム語、英語、中国語の3言語処理をネイティブサポート

マルチモーダル能力

テキストと視覚情報を同時処理し、画像とテキストの理解を実現

複数量子化バージョン

1-bitから6-bitまでの様々な量子化オプションを提供し、異なるハードウェア要件に対応

文書理解

OCR、手書き認識、古文書処理能力を特別に最適化

モデル能力

光学文字認識(OCR)

手書き認識

古文書処理

視覚的質問応答

文書質問応答

多言語テキスト生成

画像内容理解

使用事例

保険業界

交通事故レポート処理

事故現場の画像とレポートテキストを自動分析

保険金請求処理効率の向上

医療分野

放射線レポート生成

医学画像に基づいて診断レポートを生成

医師の診断を補助

古文書デジタル化

古文書文字認識

古文書中の文字を認識・転写

文化遺産保護の促進

🚀 EraX-VL-7B-V2.0-Preview の概要

EraX-VL-7B-V2.0-Preview は、多言語対応のマルチモーダルモデルです。ベースモデルは erax-ai/EraX-VL-7B-V2.0-Preview で、ベトナム語、英語、中国語などの言語に対応しています。このモデルは、画像とテキストを組み合わせたタスクや質問応答タスクなど、様々なマルチモーダルタスクに適用できます。

基本情報

属性	详情
ベースモデル	erax-ai/EraX-VL-7B-V2.0-Preview
対応言語	ベトナム語 (vi)、英語 (en)、中国語 (zh)
ライブラリ名	transformers
ライセンス	apache-2.0
量子化担当者	mradermacher
タグ	erax、multimodal、erax-vl-7B、insurance、ocr、vietnamese、bcg、radiology、car accidence、hand-writing、ancient、question-answering、image-text-to-text、visual-question-answering、document-question-answering

🚀 クイックスタート

概要

このセクションでは、EraX-VL-7B-V2.0-Preview の使用方法や提供されている量子化モデルについて説明します。

モデルの量子化について

weighted/imatrix 量子化モデルはこちらから入手できます。また、静的量子化モデルはこちらで利用可能です。

使用方法

GGUF ファイルの使用方法がわからない場合は、TheBloke's READMEs を参照してください。このドキュメントには、GGUF ファイルの使用方法やマルチパートファイルの結合方法などの詳細が記載されています。

📦 提供される量子化モデル

提供される量子化モデルは、サイズ順に並んでいます（必ずしも品質順ではありません）。IQ 量子化モデルは、同じサイズの非 IQ 量子化モデルよりも優れていることが多いです。

リンク	タイプ	サイズ (GB)	備考
GGUF	i1-IQ1_S	2.0	非常に必要な場合
GGUF	i1-IQ1_M	2.1	ほとんど必要な場合
GGUF	i1-IQ2_XXS	2.4
GGUF	i1-IQ2_XS	2.6
GGUF	i1-IQ2_S	2.7
GGUF	i1-IQ2_M	2.9
GGUF	i1-Q2_K_S	2.9	非常に低品質
GGUF	i1-Q2_K	3.1	IQ3_XXS の方が良い可能性があります
GGUF	i1-IQ3_XXS	3.2	低品質
GGUF	i1-IQ3_XS	3.4
GGUF	i1-Q3_K_S	3.6	IQ3_XS の方が良い可能性があります
GGUF	i1-IQ3_S	3.6	Q3_K* より優れています
GGUF	i1-IQ3_M	3.7
GGUF	i1-Q3_K_M	3.9	IQ3_S の方が良い可能性があります
GGUF	i1-Q3_K_L	4.2	IQ3_M の方が良い可能性があります
GGUF	i1-IQ4_XS	4.3
GGUF	i1-IQ4_NL	4.5	IQ4_XS を選ぶことをおすすめします
GGUF	i1-Q4_0	4.5	高速で低品質
GGUF	i1-Q4_K_S	4.6	サイズ/速度/品質のバランスが良い
GGUF	i1-Q4_K_M	4.8	高速でおすすめ
GGUF	i1-Q4_1	5.0
GGUF	i1-Q5_K_S	5.4
GGUF	i1-Q5_K_M	5.5
GGUF	i1-Q6_K	6.4	静的 Q6_K とほぼ同じ

以下は、ikawrakow による低品質量子化タイプの比較グラフです（値が低い方が良い）。

また、Artefact2 のこの問題に関する考え方はこちらで確認できます。

📚 よくある質問 / モデルリクエスト

質問に対する回答や他のモデルの量子化を依頼する場合は、こちらを参照してください。

🙏 謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーを使用させていただき、ワークステーションのアップグレードを提供していただいたことに感謝します。また、@nicoboss には、彼のプライベートスーパーコンピューターへのアクセスを許可していただき、通常よりも高品質の多くの imatrix 量子化モデルを提供できるようになったことに感謝します。