Nougat Base

🚀 NougatモデルのTransformers.js対応版

このプロジェクトは、FacebookのNougatベースモデルをTransformers.jsと互換性のあるONNXウェイトで提供します。画像をテキストに変換するパイプラインを通じて、科学論文のPDF画像をMarkdown形式に変換することができます。

🚀 クイックスタート

このモデルは、Transformers.jsを使用して画像からテキストを生成するためのものです。以下の手順で始めることができます。

📦 インストール

まず、Transformers.js JavaScriptライブラリをNPMからインストールします。

npm i @xenova/transformers

💻 使用例

基本的な使用法

import { pipeline } from '@xenova/transformers';

// 画像からテキストへのパイプラインを作成
const pipe = await pipeline('image-to-text', 'Xenova/nougat-base');

// Markdownを生成
const url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/nougat_paper.png';
const output = await pipe(url, {
  min_length: 1,
  max_new_tokens: 40,
  bad_words_ids: [[pipe.tokenizer.unk_token_id]],
});
console.log(output);
// [{ generated_text: "# Nougat: Neural Optical Understanding for Academic Documents\n\n Lukas Blecher\n\nCorrespondence to: liblecher@meta.com\n\nGuillem Cucurull" }]

📚 ドキュメント

注意事項

ONNXウェイト用に別のリポジトリを用意するのは、WebMLが普及するまでの一時的な解決策です。モデルをWeb対応にする場合は、🤗 Optimumを使用してONNXに変換し、このリポジトリのように構成することをおすすめします（ONNXウェイトはonnxというサブフォルダに配置します）。

モデル情報