Vntl Llama3 8b V2 Hf

🚀 クイックスタート

このプロジェクトは、新しいバージョンのVNTLデータセットを使用して作成されたLLaMA 3 YoukoのQLoRAファインチューニングモデルです。主な目的は、日本語のビジュアルノベルを英語に翻訳する際の大規模言語モデル（LLM）の性能を向上させることです。

✨ 主な機能

• 前のバージョンとは異なり、「チャットモード」を含んでいません。
• データセットを完全に再構築し拡張し、精度と安定性が向上しています。
• LLaMA 3のデフォルトのプロンプト形式を採用しています。
• 複数行の翻訳に対応しています（旧バージョンは1行のみ対応）。
• 全体的な翻訳精度が向上しています。

📦 ライセンス

このモデルは、llama3ライセンスの下で提供されています。

📚 詳細ドキュメント

注意事項

この新しいVNTL 8Bのバージョンでは、VNTLのデータセットを完全に再構築し拡張しました。精度と安定性において前のバージョンを上回り、高温で実行しても誤りが少なくなります（ただし、最高の精度を得るには温度0を推奨します）。

このバージョンの主な変更点は以下の通りです：

• カスタムのプロンプト形式で問題があったため、LLaMA 3のデフォルトのプロンプト形式に切り替えました
• 複数行の翻訳に対応しました（旧バージョンは1行のみ対応）
• 全体的な翻訳精度が向上しました

ただし、翻訳は前のバージョンよりも逐語的になる傾向があります。

サンプリングの推奨事項

このモデルを使用する際には、最適な結果を得るために中性的なサンプリングパラメータ（温度0で繰り返しペナルティなし）を使用することを強く推奨します。

学習の詳細

このファインチューニングは、前のバージョンと同様のハイパーパラメータを使用して行われました。唯一の違いは、データセットが全く新しいものであることです。

• ランク: 128
• アルファ: 32
• 有効バッチサイズ: 45
• ウォームアップ率: 0.02
• 学習率: 6e-5
• 埋め込み学習率: 1e-5
• オプティマイザ: grokadamw
• 学習率スケジュール: cosine
• 重み減衰: 0.01

学習損失: 0.42

翻訳のプロンプト

このファインチューニングはLLaMA 3のプロンプト形式を使用しています。以下は翻訳のプロンプトの例です：

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[character] Name: Uryuu Shingo (瓜生 新吾) | Gender: Male | Aliases: Onii-chan (お兄ちゃん)
[character] Name: Uryuu Sakuno (瓜生 桜乃) | Gender: Female<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>English<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は可愛いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>English<|end_header_id|>

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."<|eot_id|>

温度0でこのプロンプトから生成される翻訳は以下の通りです：

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."

豆知識

メタデータセクションはキャラクター情報に限定されず、豆知識を追加したり、モデルが苦手な単語の正しい発音を教えることもできます。

以下はその例です：

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[character] Name: Uryuu Shingo (瓜生 新吾) | Gender: Male | Aliases: Onii-chan (お兄ちゃん)
[character] Name: Uryuu Sakuno (瓜生 桜乃) | Gender: Female
[element] Name: Murasamemaru (叢雨丸) | Type: Quality<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>English<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は叢雨丸いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>English<|end_header_id|>

温度0でこのプロンプトから生成される翻訳は以下の通りです：

[Shingo]: "Nah, I know it’s not the best thing to say, but I’m glad you got lost. Sakuno’s Murasamemaru, so I was really worried about you, you know?"