Im2latex Base

🚀 im2latex_model

本模型是一個基於特定數據集訓練的視覺編碼器 - 解碼器模型，用於從圖像中生成 LaTeX 公式。該模型是對論文 https://arxiv.org/html/2408.04015v1 復現項目的一部分。需要注意的是，論文中該模型在訓練後會在手寫數據上進行微調，而此為微調前的模型。

✨ 主要特性

• 模型類型：視覺編碼器 - 解碼器模型，能夠將圖像轉換為 LaTeX 公式。
• 復現論文：復現指定論文的模型，為相關研究和應用提供參考。

📦 安裝指南

暫未提供安裝步驟相關內容。

💻 使用示例

基礎用法

from transformers import VisionEncoderDecoderModel, AutoTokenizer, AutoFeatureExtractor
import torch
from PIL import Image

# Load model, tokenizer, and feature extractor
model = VisionEncoderDecoderModel.from_pretrained("your-username/your-model-name")
tokenizer = AutoTokenizer.from_pretrained("your-username/your-model-name")
feature_extractor = AutoFeatureExtractor.from_pretrained("your-username/your-model-name")

# Prepare an image
image = Image.open("path/to/your/image.png")
pixel_values = feature_extractor(images=image, return_tensors="pt").pixel_values

# Generate LaTeX formula
generated_ids = model.generate(pixel_values)
generated_texts = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)

print("Generated LaTeX formula:", generated_texts[0])

📚 詳細文檔

模型詳情

訓練數據

數據來源於 [OleehyO/latex - formulas](https://huggingface.co/datasets/OleehyO/latex - formulas)，並按照 80:10:10 的比例劃分為訓練集、驗證集和測試集，劃分代碼如下：

dataset = load_dataset(OleehyO/latex-formulas, cleaned_formulas)
train_val_split = dataset["train"].train_test_split(test_size=0.2, seed=42)
train_ds = train_val_split["train"]
val_test_split = train_val_split["test"].train_test_split(test_size=0.5, seed=42)
val_ds = val_test_split["train"]
test_ds = val_test_split["test"]

評估指標

模型在測試集上的評估結果如下：

• 測試損失：0.09
• 測試 BLEU 分數：0.69

訓練腳本

該模型的訓練腳本可在以下倉庫中找到：[GitHub](https://github.com/matthjs/DL - Im2Latex)

📄 許可證

本項目採用 AGPL - 3.0 許可證。