Donut Base Japanese Visual Novel

🚀 甜甜圈模型（基础大小模型，在视觉小说风格合成数据集上微调）

这是一个在视觉小说风格图像的合成数据集上对naver-clova-ix/donut-base进行训练的模型，可用于相关图像的识别处理。

🚀 快速开始

请参考示例笔记本sample_predictions_colab.ipynb。你可以通过oshizo/donut-base-japanese-visual-novel获取相关资源。

💻 使用示例

基础用法

你可以按照示例笔记本sample_predictions_colab.ipynb中的步骤进行操作。

识别结果示例

以下是一些识别结果的示例，展示了模型对不同视觉小说风格图像的识别效果。

{'options': '', 'names': '结月', 'messages': '这座神社有个古老的传说。在神树之下立下誓言，愿望必将实现。敞开心扉，相信自己的想法吧。'}

{'options': ['走吧！', '这次就算了', '等做好准备再说（退出对话）', '请详细告诉我旅行的目的'], 'names': '莉莲', 'messages': '我们的使命是通过新的发现和交流，构筑地球与宇宙的未来。你准备好加入这场伟大的旅程了吗？'}

{'options': ['全力攻击！夺取胜利！', '稳健防守，等待敌人的破绽。'], 'names': '', 'messages': '诱敌深入，运用战术。'}

{'options': '当然，我会帮忙的！', 'names': '下尾崎菊欠郎', 'messages': '这个书房里可能藏着重要的线索。你能帮我一起找找吗？'}

🔧 技术细节

模型规格

训练布局

• 包含的布局：训练数据中包含以下布局以及各布局不存在的模式。
• 未包含的布局：以下模式等未包含在训练数据中的模式可能无法被很好地识别。

其他限制

⚠️ 重要提示

• 由于模型仅在宽度1920px、高度1080px的图像上进行训练和评估，当图像纵横比差异较大时，识别精度可能会下降。
• 解码器的分词器基于XLMRobertaTokenizer，并额外添加了约1500种日语汉字，因此可能存在分词器中不存在而无法输出的汉字。

训练方法

更多详细信息可参考以下笔记文章：端到端文档图像识别模型Donut微调笔记

📄 许可证

本项目采用MIT许可证。