Nougat For Formula

🚀 数式用Nougat

数式用Nougatは、画像から数式を高精度に識別するモデルです。小規模NougatモデルをIM2LATEX-100Kのデータでファインチューニングし、画像からの数式識別能力を強化しています。

📚 詳細ドキュメント

モデルの説明

数式用Nougatは、画像から数式を識別する能力に優れています。白背景に黒で書かれた数式の画像を入力として受け取り、正確な数式のLaTeXコードを出力します。

Naugatモデル（Neural Optical Understanding for Academic Documents）は、2023年8月にMeta AIによって提案された、科学文書を処理するためのビジュアルTransformerモデルです。PDF形式の文書をマークアップ言語に変換することができ、特に数式や表の認識能力が高いです。このモデルの目標は、人間が読める文書と機械が読めるテキストを架橋することで、科学知識のアクセシビリティを向上させることです。

✨ 主な機能

数式用Nougatは、複雑な数式をLaTeXコードに変換するツールとして使用できます。他のツールの良い代替品になる可能性があります。

例えば、ノートを取っていて長いLaTeX/Markdownの数式コードを入力するのが面倒なときは、数式のスクリーンショットを撮り、数式用Nougatに入力するだけで、使用するモデルの最大長を超えない限り、正確な数式のコードを取得できます。

また、特定の科目の数式を識別する能力を強化するために、モデルをさらにファインチューニングすることもできます。数式用Nougatは、LaTeXコードを生成することを目的としたツールやアプリを開発する際に役立つ可能性があります。

🚀 クイックスタート

以下のデモは、画像をモデルに入力してLaTeX/Markdownの数式コードを生成する方法を示しています。

基本的な使用法

from transformers import NougatProcessor, VisionEncoderDecoderModel
from PIL import Image

max_length = 100 # 出力の最大長を定義
processor = NougatProcessor.from_pretrained(r".", max_length = max_length) # あなたのパスに置き換える
model = VisionEncoderDecoderModel.from_pretrained(r".") # あなたのパスに置き換える

image = Image.open(r"image_path") # あなたのパスに置き換える
image = processor(image, return_tensors="pt").pixel_values # プロセッサはモデルに合わせて画像をリサイズする

result_tensor = model.generate(
            image,
            max_length=max_length,
            bad_words_ids=[[processor.tokenizer.unk_token_id]]
              ) # 結果のIDテンソルを生成

result = processor.batch_decode(result_tensor, skip_special_tokens=True) # プロセッサを使用して結果をデコード
result = processor.post_process_generation(result, fix_markdown=False)

print(*result)

🔧 技術詳細

学習データ

IM2LATEX-100K

前処理

X（画像）の前処理は、上記の短いデモに示されています。

Y（数式）の前処理は、以下の手順で行われます。

1. 数式文字列の空白を削除します。
2. processorを使用して文字列をトークン化します。

学習ハイパーパラメータ

• 学習方式: torch.optim.AdamW(model.parameters(), lr=1e-4)

評価

テストデータ、要因、メトリクス

テストデータ

テストデータもIM2LATEX-100Kから取得されています。なお、学習データ、検証データ、テストデータはダウンロード前に適切に分割されています。

メトリクス

BLEUとCERを使用して評価しています。

結果

テストデータでのBLEUは0.8157、CERは0.1601です。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。