Tinyllama 1.1B Intermediate 1.5T PTBR Instruct V3 8k

🚀 TinyLlama-1.1B-intermediate-step-715k-1.5Tの微調整バージョン

このモデルは、axolotlを使用してポルトガル語の命令データセットでPY007/TinyLlama-1.1B-intermediate-step-715k-1.5Tを微調整したものです。文章生成に特化しています。

🚀 クイックスタート

v0、v1、v2はデフォルトの2048コンテキスト長で微調整されています。今回のv3では、既存のv2を使用して、8kコンテキスト長のデータセットでモデルを微調整しました。

このモデルはかなり良好に動作しますが、推論能力はそれほど強くありません。基本的なRAGや検索されたコンテンツに対する質問応答には適しています。

プロンプト形式

f"Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:\n"

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。