Smt Grandstaff

🚀 楽譜トランスフォーマー (ベースモデル、Grandstaffデータセットでファインチューニング済み)

SMTモデルは、ピアノ譜の転写用に Camera GrandStaffデータセットでファインチューニングされています。 このモデルのコードはこのリポジトリにあります。

🚀 クイックスタート

SMTモデルは、ピアノ譜の画像をテキストに変換するために、Camera GrandStaffデータセットでファインチューニングされています。コードはこのリポジトリにホストされています。

✨ 主な機能

このモデルは、ビジョンエンコーダ（ConvNext）とテキストデコーダ（古典的なTransformer）で構成されています。与えられた楽譜の画像をエンコーダが埋め込みテンソルに変換し、デコーダがそれを元にテキストを生成します。

📚 ドキュメント

モデルの説明

SMTモデルは、ビジョンエンコーダ（ConvNext）とテキストデコーダ（古典的なTransformer）で構成されています。楽譜の画像が与えられると、エンコーダはまず画像を埋め込みテンソル（形状はbatch_size, seq_len, hidden_size）にエンコードし、その後デコーダがエンコーダの出力を条件として自己回帰的にテキストを生成します。

想定される用途と制限

このモデルはGrandStaffデータセットでファインチューニングされているため、ピアノ譜の画像の転写にのみ使用できます。

BibTeXエントリと引用情報

@misc{RiosVila2024,
      title={Sheet Music Transformer: End-To-End Optical Music Recognition Beyond Monophonic Transcription}, 
      author={Antonio Ríos-Vila and Jorge Calvo-Zaragoza and Thierry Paquet},
      year={2024},
      eprint={2402.07596},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2402.07596}, 
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

情報テーブル