# LoRA効率的トレーニング

Google Gemma-3-4b-ptを微調整した疑似推理専門家モデル、構造化推論/疑似誘導推論専用に設計

Qwenアーキテクチャを基にした金融分野専用言語モデル、50万以上の金融命令でファインチューニング済み

Llama3.1-Neo-1B-100wは、Meta-Llama-3.1-8B-Instructを1.4Bパラメータ規模にプルーニングし、LLM-Neoメソッド（LoRAと知識蒸留を組み合わせた）でファインチューニングした効率的な言語モデルです。トレーニングデータはBAAI/Infinity-Instructの100万行からサンプリングされています。

Llama-3-8bベースのファインチューニングモデルで、Gutenberg DPOデータセットを使用して最適化されており、テキスト生成タスクに適しています。

Gemma-2bをファインチューニングした多言語命令モデルで、15のインド言語と英語をサポート

Gemma-7bモデルをベースに、15のインド言語と英語の命令データセットでLoRAファインチューニングを行った多言語テキスト生成モデル

Gemma-2bモデルを基にトルコ語命令-応答ペア向けにファインチューニングしたテキスト生成モデルで、約75kのトレーニングデータ規模をサポート

ZhiLuは中国語Alpaca2-13Bを基に二次開発された金融大規模言語モデルで、膨大な中英語コーパスの増分事前学習と高品質な指示データの整合により能力が飛躍的に向上し、金融分野の専門的なパフォーマンスが重点的に強化されています。

Camel-Platypus2-70B は Platypus2-70B と qCammel-70-x を統合した大規模言語モデルで、LLaMA 2 アーキテクチャに基づき、STEM と論理的推論タスクに特化しています。