Vntl Llama3 8b V2 Imatrix Gguf

🚀 [lmg - anon/vntl - llama3 - 8b - v2 - hf の imatrix quants]

lmg - anon/vntl - llama3 - 8b - v2 - hf の imatrix quantsは、Bartowskiのimatrixデータセットの多言語フォークを使用しています。このモデルは、日本語のビジュアルノベルを英語に翻訳する際の性能向上を目的としたLLaMA 3 Youkoのfine - tuneです。

🚀 クイックスタート

このモデルは、LLaMA 3 Youko のqlora fine - tuneで、新しいバージョンのVNTLデータセットを使用して作成されました。主な目的は、日本語のビジュアルノベルを英語に翻訳する際の大規模言語モデル（LLM）の性能を向上させることです。

✨ 主な機能

• 前のバージョンとは異なり、このバージョンには「チャットモード」が含まれていません。
• デフォルトのLLaMA3プロンプト形式に切り替えられ、カスタム形式での問題が解消されました。
• 複数行の翻訳に対応し、以前のバージョンは単一行のみを扱っていました。
• 全体的な翻訳精度が向上しています。

🔧 技術詳細

サンプリングの推奨事項

このモデルを使用する際には、最適な結果を得るために、中立的なサンプリングパラメータ（温度0、繰り返しペナルティなし）を使用することを強くおすすめします。

トレーニングの詳細

このfine - tuneは、前のバージョン と同様のハイパーパラメータを使用して行われました。唯一の違いは、データセットが全く新しいものであることです。

トレーニング損失: 0.42

📚 ドキュメント

翻訳プロンプト

このfine - tuneはLLaMA 3のプロンプト形式を使用しています。以下は翻訳用のプロンプトの例です。

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[character] Name: Uryuu Shingo (瓜生 新吾) | Gender: Male | Aliases: Onii-chan (お兄ちゃん)
[character] Name: Uryuu Sakuno (瓜生 桜乃) | Gender: Female<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>English<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は可愛いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>English<|end_header_id|>

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."<|eot_id|>

このプロンプトに対して温度0で生成された翻訳は以下の通りです。

[Shingo]: "Nah, I know it’s weird to say this, but I’m glad you got lost. You’re so cute, Sakuno, so I was really worried about you."

トリビア

メタデータセクションはキャラクター情報に限定されず、トリビアやモデルが苦手な単語の正しい発音を教えることもできます。以下はその例です。

<|begin_of_text|><|start_header_id|>Metadata<|end_header_id|>

[character] Name: Uryuu Shingo (瓜生 新吾) | Gender: Male | Aliases: Onii-chan (お兄ちゃん)
[character] Name: Uryuu Sakuno (瓜生 桜乃) | Gender: Female
[element] Name: Murasamemaru (叢雨丸) | Type: Quality<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[桜乃]: 『……ごめん』<|eot_id|><|start_header_id|>English<|end_header_id|>

[Sakuno]: 『... Sorry.』<|eot_id|><|start_header_id|>Japanese<|end_header_id|>

[新吾]: 「ううん、こう言っちゃなんだけど、迷子でよかったよ。桜乃は叢雨丸いから、いろいろ心配しちゃってたんだぞ俺」<|eot_id|><|start_header_id|>English<|end_header_id|>

このプロンプトに対して温度0で生成された翻訳は以下の通りです。

[Shingo]: "Nah, I know it’s not the best thing to say, but I’m glad you got lost. Sakuno’s Murasamemaru, so I was really worried about you, you know?"

💡 使用アドバイス

このモデルを使用する際には、最適な精度を得るために温度0を推奨します。また、翻訳は前のバージョンよりも逐語的になる傾向があります。