Nougat For Formula

🚀 用於識別公式的Nougat模型

本模型在小尺寸Nougat模型的基礎上，使用來自IM2LATEX-100K的數據進行微調，使其在從圖像中識別公式方面表現卓越。

✨ 主要特性

• 能夠精準識別圖像中的公式，將白色背景、黑色公式的圖像作為輸入，輸出精確的公式LaTeX代碼。
• 基於Meta AI於2023年8月提出的Naugat模型（Neural Optical Understanding for Academic Documents），這是一個用於處理科學文檔的視覺Transformer模型，可將PDF格式文檔轉換為標記語言，尤其對數學表達式和表格具有出色的識別能力。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import NougatProcessor, VisionEncoderDecoderModel
from PIL import Image

max_length = 100 # defing max length of output
processor = NougatProcessor.from_pretrained(r".", max_length = max_length) # Replace with your path 
model = VisionEncoderDecoderModel.from_pretrained(r".") # Replace with your path

image = Image.open(r"image_path") # Replace with your path
image = processor(image, return_tensors="pt").pixel_values # The processor will resize the image according to our model

result_tensor = model.generate(
            image,
            max_length=max_length,
            bad_words_ids=[[processor.tokenizer.unk_token_id]]
              ) # generate id tensor

result = processor.batch_decode(result_tensor, skip_special_tokens=True) # Using the processor to decode the result
result = processor.post_process_generation(result, fix_markdown=False)

print(*result)

高級用法

你可以繼續對模型進行微調，使其在識別特定學科的公式方面更強大。

📚 詳細文檔

模型詳情

• 模型類型：視覺編碼器 - 解碼器
• 微調基礎模型：小尺寸Nougat模型

用途

該模型可作為將複雜公式轉換為LaTeX代碼的工具，有潛力替代其他工具。例如，當你記筆記時，厭倦了編寫冗長的LaTeX/Markdown公式代碼，只需對公式截圖並輸入到本模型中，只要不超過所用模型的最大長度，就能得到精確的公式代碼。此外，在開發旨在生成LaTeX代碼的工具或應用程序時，該模型也可能會發揮作用。

訓練詳情

訓練數據

使用IM2LATEX-100K數據集。

預處理

• 圖像（X）：預處理過程如上述基礎用法示例所示。
• 公式（Y）：
  1. 去除公式字符串中的空格。
  2. 使用processor對字符串進行分詞。

訓練超參數

• 訓練機制：torch.optim.AdamW(model.parameters(), lr=1e-4)

評估

測試數據、因素和指標

• 測試數據：同樣來自IM2LATEX-100K，訓練集、驗證集和測試集在下載前已劃分好。
• 指標：使用BLEU和CER指標。

結果

在測試數據上，BLEU為0.8157，CER為0.1601。

📄 許可證

本模型使用Apache-2.0許可證。