Donut Base Finetuned Docvqa

🚀 ドキュメント質問応答モデル

このプロジェクトは、ドキュメントに対する質問に回答するモデルで、ONNXウェイトを使用してTransformers.jsと互換性を持たせています。

🚀 クイックスタート

📦 インストール

Transformers.js JavaScriptライブラリをNPMからインストールできます。

npm i @huggingface/transformers

💻 使用例

基本的な使用法

// パイプラインをインポート
import { pipeline } from '@huggingface/transformers';

// ドキュメント質問応答パイプラインを作成
const qa_pipeline = await pipeline('document-question-answering', 'Xenova/donut-base-finetuned-docvqa');

// 与えられた画像と質問に対する回答を生成
const image = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/invoice.png';
const question = 'What is the invoice number?';
const output = await qa_pipeline(image, question);
// [{ answer: 'us-001' }]

情報一覧

注意事項

⚠️ 重要提示

ONNXウェイト用の別のリポジトリを持つのは、WebMLがもっと普及するまでの一時的な解決策です。モデルをWeb対応にする場合は、🤗 Optimumを使用してONNXに変換し、このリポジトリのように構成することをおすすめします（ONNXウェイトはonnxというサブフォルダに配置）。