Smt Grandstaff

🚀 樂譜音樂轉換器（基礎模型，在大譜表數據集上進行微調）

本項目的樂譜音樂轉換器（SMT）模型在 相機大譜表 數據集上進行了微調，可用於鋼琴樂譜的轉錄。模型代碼託管在 此倉庫 中。

🚀 快速開始

本模型可用於將鋼琴樂譜圖像轉錄為文本。你可以通過訪問 此倉庫 獲取模型代碼進行使用。

✨ 主要特性

• 模型架構：SMT 模型由視覺編碼器（ConvNext）和文本解碼器（經典 Transformer）組成。編碼器將樂譜圖像編碼為嵌入張量，解碼器根據編碼器的編碼自迴歸地生成文本。
• 數據集微調：該模型在大譜表數據集上進行了微調，能更好地處理鋼琴樂譜轉錄任務。

📚 詳細文檔

模型描述

SMT 模型由一個視覺編碼器（ConvNext）和一個文本解碼器（經典 Transformer）組成。給定一個樂譜系統的圖像，編碼器首先將圖像編碼為一個嵌入張量（形狀為 batch_size, seq_len, hidden_size），然後解碼器根據編碼器的編碼自迴歸地生成文本。

預期用途和限制

此模型在大譜表數據集上進行了微調，其使用僅限於轉錄鋼琴樂譜圖像。

BibTeX 引用和引用信息

@misc{RiosVila2024,
      title={Sheet Music Transformer: End-To-End Optical Music Recognition Beyond Monophonic Transcription}, 
      author={Antonio Ríos-Vila and Jorge Calvo-Zaragoza and Thierry Paquet},
      year={2024},
      eprint={2402.07596},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2402.07596}, 
}

📄 許可證

本項目採用 MIT 許可證。