Vntl Llama3 8b V2 Hf

🚀 基于LLaMA 3 Youko的日语视觉小说翻译微调模型

本项目是一个基于 LLaMA 3 Youko 的QLoRA微调模型，使用新版VNTL数据集进行训练。该微调的目的是提升大语言模型将日语视觉小说翻译成英语的性能。与之前的版本不同，此版本不包含“聊天模式”。

🚀 快速开始

本微调模型使用LLaMA 3的提示格式，以下是一个翻译提示示例：

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[character] Name: Uryuu Shingo (瓜生 新吾) | Gender: Male | Aliases: Onii-chan (お兄ちゃん)
[character] Name: Uryuu Sakuno (瓜生 桜乃) | Gender: Female<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>English<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は可愛いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>English<|end_header_id|>

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."<|eot_id|>

当温度参数设置为0时，该提示生成的翻译结果如下：

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."

✨ 主要特性

• 性能提升：与之前的版本相比，在准确性和稳定性方面表现更优，即使在高温参数下运行，错误也大幅减少（不过为获得最佳准确性，仍建议将温度设置为0）。
• 格式调整：切换到默认的LLaMA 3提示格式，解决了自定义格式带来的使用困扰。
• 多行支持：增加了对多行翻译的支持，而旧版本仅能处理单行翻译。
• 准确性增强：整体翻译准确性更高，但与之前版本相比，翻译结果更倾向于逐字翻译。

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[character] Name: Uryuu Shingo (瓜生 新吾) | Gender: Male | Aliases: Onii-chan (お兄ちゃん)
[character] Name: Uryuu Sakuno (瓜生 桜乃) | Gender: Female<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>English<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は可愛いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>English<|end_header_id|>

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."<|eot_id|>

高级用法

在元数据部分不仅可以添加角色信息，还能添加琐事信息，并教导模型正确发音较难的词汇。以下是一个示例：

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[character] Name: Uryuu Shingo (瓜生 新吾) | Gender: Male | Aliases: Onii-chan (お兄ちゃん)
[character] Name: Uryuu Sakuno (瓜生 桜乃) | Gender: Female
[element] Name: Murasamemaru (叢雨丸) | Type: Quality<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>English<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は叢雨丸いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>English<|end_header_id|>

当温度参数设置为0时，该提示生成的翻译结果如下：

[Shingo]: "Nah, I know it’s not the best thing to say, but I’m glad you got lost. Sakuno’s Murasamemaru, so I was really worried about you, you know?"

📚 详细文档

采样建议

为获得最佳效果，强烈建议在使用此模型时采用中性采样参数（温度为0，无重复惩罚）。

训练详情

本次微调使用的超参数与 之前版本 相似，唯一的区别在于使用了全新的数据集。

📄 许可证

本项目使用的许可证为llama3。