Zhen Latex OCR

🚀 MixTeX

MixTeXは画像からテキストを抽出するツールで、WinクライアントのローカルオフラインCPU推論exeも提供しています。また、コードを使って簡単に画像からテキストを取得できます。

🚀 クイックスタート

WinクライアントのローカルオフラインCPU推論exeがリリースされました。githubでダウンロードすることができます。 または、直接Files内のzipファイルをダウンロードして解凍し、exeを直接実行するだけです（インストール不要）。

Github: https://github.com/RQLuo/MixTeX?tab=readme-ov-file

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, VisionEncoderDecoderModel, AutoImageProcessor
from PIL import Image
import requests

feature_extractor = AutoImageProcessor.from_pretrained("MixTex/ZhEn-Latex-OCR")
tokenizer = AutoTokenizer.from_pretrained("MixTex/ZhEn-Latex-OCR", max_len=296)
model = VisionEncoderDecoderModel.from_pretrained("MixTex/ZhEn-Latex-OCR")

imgen = Image.open(requests.get('https://cdn-uploads.huggingface.co/production/uploads/62dbaade36292040577d2d4f/eOAym7FZDsjic_8ptsC-H.png', stream=True).raw)
#imgzh = Image.open(requests.get('https://cdn-uploads.huggingface.co/production/uploads/62dbaade36292040577d2d4f/m-oVg8dsQbQZ1fDWbwKtO.png', stream=True).raw)
print(tokenizer.decode(model.generate(feature_extractor(imgen, return_tensors="pt").pixel_values)[0]).replace('\\[','\\begin{align*}').replace('\\]','\\end{align*}'))

colab: https://colab.research.google.com/drive/1vj3GKTmHcVor7FRKyk254nXEi9Lu_dhL?usp=sharing

📚 ドキュメント

サンプルデータセット

一部の生成された合成データセットとデータ収集方法を公開予定です。

補足情報

• 推奨画像サイズ：約 (400, 500), (H, W)。
• 推奨出力トークン数：約100－300トークン。
• LaTeX環境：

\usepackage{amssymb}
\usepackage{amsmath}
\usepackage{stmaryrd}
\usepackage{color}

📄 ライセンス

本プロジェクトはApache-2.0ライセンスの下で公開されています。