Donut Base Japanese Visual Novel

🚀 甜甜圈模型（基礎大小模型，在視覺小說風格合成數據集上微調）

這是一個在視覺小說風格圖像的合成數據集上對naver-clova-ix/donut-base進行訓練的模型，可用於相關圖像的識別處理。

🚀 快速開始

請參考示例筆記本sample_predictions_colab.ipynb。你可以通過oshizo/donut-base-japanese-visual-novel獲取相關資源。

💻 使用示例

基礎用法

你可以按照示例筆記本sample_predictions_colab.ipynb中的步驟進行操作。

識別結果示例

以下是一些識別結果的示例，展示了模型對不同視覺小說風格圖像的識別效果。

{'options': '', 'names': '結月', 'messages': '這座神社有個古老的傳說。在神樹之下立下誓言，願望必將實現。敞開心扉，相信自己的想法吧。'}

{'options': ['走吧！', '這次就算了', '等做好準備再說（退出對話）', '請詳細告訴我旅行的目的'], 'names': '莉蓮', 'messages': '我們的使命是通過新的發現和交流，構築地球與宇宙的未來。你準備好加入這場偉大的旅程了嗎？'}

{'options': ['全力攻擊！奪取勝利！', '穩健防守，等待敵人的破綻。'], 'names': '', 'messages': '誘敵深入，運用戰術。'}

{'options': '當然，我會幫忙的！', 'names': '下尾崎菊欠郎', 'messages': '這個書房裡可能藏著重要的線索。你能幫我一起找找嗎？'}

🔧 技術細節

模型規格

訓練佈局

• 包含的佈局：訓練數據中包含以下佈局以及各佈局不存在的模式。
• 未包含的佈局：以下模式等未包含在訓練數據中的模式可能無法被很好地識別。

其他限制

⚠️ 重要提示

• 由於模型僅在寬度1920px、高度1080px的圖像上進行訓練和評估，當圖像縱橫比差異較大時，識別精度可能會下降。
• 解碼器的分詞器基於XLMRobertaTokenizer，並額外添加了約1500種日語漢字，因此可能存在分詞器中不存在而無法輸出的漢字。

訓練方法

更多詳細信息可參考以下筆記文章：端到端文檔圖像識別模型Donut微調筆記

📄 許可證

本項目採用MIT許可證。