# 多タスクテキスト生成

DeepSeek-R1-Distill-Llama-3Bは、Llama-3.2-3Bモデルをベースに、R1-Distill-SFTデータセットを使用してDeepSeek-R1を蒸留したバージョンで、テキスト生成能力を備えています。

日本国立情報学研究所によって開発された大規模言語モデルで、日本語と英語をサポートし、Transformerアーキテクチャに基づいており、パラメータ数は130億です。

これはMeta Llama 3をベースに構築された統合事前学習言語モデルで、SimPOとSPPO-Iter3の2つのモデルの長所を組み合わせ、テキスト生成タスクに適しています。

WestLake-7B-v2-laserモデルをベースに、truthy-dpo-v0.1データセットで微調整された大規模言語モデルで、テキスト生成タスクに特化し、複数のベンチマークテストで優れた成績を収めています。

Llama-2-7b-hfモデルをMMLUデータセットで継続的に学習させ、MMLU指標の性能を向上させると同時に、他の指標を安定させます。