# 70Bパラメータ規模

これは複数の70Bパラメータモデルを統合した改良版で、主に埋め込み層のサイズを標準L3 70Bモデル仕様に合わせて調整しています。

Llama-xLAM-2-70b-fc-r は Salesforce が公開した大規模言語モデルで、Llama 2 アーキテクチャを基に、700億のパラメータを持っています。

MetaのLlama-3.3-70B-Instructモデルを基に構築された多言語テキスト処理モデルで、音声からテキストへの変換タスクをサポート

Hexagon Purple V2はSmartracksベースの3段階標準統合モデルで、Deepseek Distill R1、Nemotron、Tuluの能力を統合し、マルチモデル統合により性能を最適化しています。

Llama3アーキテクチャに基づく70Bパラメータの大規模言語モデル、特別な最適化処理を施した

本プロジェクトは、複数の70B規模の事前学習言語モデルを融合することで、より高性能な言語モデルを創造することを目的としています。Llama 3.3命令モデルをベースに、Linear DELLA融合方法を用いてモデル融合を行います。

TIES手法でマージされた70Bパラメータの大規模言語モデルで、Steelskull/L3.3-MS-Nevoria-70bをベースモデルとしてDeepSeek-R1-Distill-Llama-70Bモデルを融合

Llama-3.3-70B-InstructはMetaがリリースした多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、複数の業界ベンチマークで優れた性能を発揮します。

Llama-2-70Bを微調整した命令追従モデルで、Dolly15kデータセットでトレーニングされ、英語テキスト生成タスクに適しています。

Llama 2はMetaが開発した一連の事前学習および微調整済みテキスト生成モデルで、70億から700億パラメータまでの規模があります。これは13Bの事前学習モデルで、Hugging Face Transformers形式に変換されています。