Nougat Base

🚀 Nougat模型轉換為Transformers.js兼容版本

本項目將facebook/nougat-base模型轉換為帶有ONNX權重的版本，以兼容Transformers.js庫。它能夠實現圖像到文本的轉換，尤其適用於將科學PDF的圖像轉換為Markdown文本。

🚀 快速開始

安裝依賴

如果你還沒有安裝Transformers.js JavaScript庫，可以使用以下命令從NPM進行安裝：

npm i @xenova/transformers

使用模型

安裝完成後，你可以使用該模型將科學PDF的圖像轉換為Markdown文本，示例代碼如下：

import { pipeline } from '@xenova/transformers';

// 創建圖像到文本的管道
const pipe = await pipeline('image-to-text', 'Xenova/nougat-base');

// 生成Markdown
const url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/nougat_paper.png';
const output = await pipe(url, {
  min_length: 1,
  max_new_tokens: 40,
  bad_words_ids: [[pipe.tokenizer.unk_token_id]],
});
console.log(output);
// [{ generated_text: "# Nougat: Neural Optical Understanding for Academic Documents\n\n Lukas Blecher\n\nCorrespondence to: liblecher@meta.com\n\nGuillem Cucurull" }]

📚 詳細文檔

注意事項

⚠️ 重要提示

為ONNX權重單獨創建一個倉庫是一個臨時解決方案，直到WebML獲得更多關注。如果你想讓你的模型適用於Web，我們建議使用🤗 Optimum將模型轉換為ONNX格式，並像本倉庫一樣組織你的倉庫結構（將ONNX權重放在名為onnx的子文件夾中）。

模型信息