# 軽量LLM

これはPythia - 70mモデルに基づく量子化バージョンで、ウィキペディアの段落データに特化して最適化されており、さまざまな量子化タイプを提供して異なるリソース要件に対応します。

Qwen3-1.7B-4bitは通義千問1.7Bモデルの4ビット量子化バージョンで、MLXフレームワーク形式に変換されており、Apple Siliconデバイスで効率的に実行できます。

Qwen3は通義千問シリーズ最新世代の6億パラメータ大規模言語モデルで、32kのコンテキスト長をサポートし、119言語をカバー

MiniCPM-S-1B-sftは、活性化スパース化技術で最適化された10億パラメータ規模の言語モデルで、ProSparseメソッドにより高スパース推論加速を実現しつつ、元のモデルと同等の性能を維持しています。

このモデルはkarpathyのllm.cプロジェクトに由来し、bfloat16性能研究のためにHuggingFace形式に変換され、1500億トークンを消費してトレーニングされました。

TxGemmaはGemma 2を基に構築された一連の軽量で先進的なオープン言語モデルで、治療開発向けに微調整されています。2B、9B、27Bの3つの規模を提供し、治療法とターゲットに関連する情報の処理に優れています。

TxGemmaはGemma 2をベースに構築された軽量オープンソース言語モデルで、治療開発向けに微調整されており、2B、9B、27Bの3つのサイズが提供されています。

これはknowledgator/Qwen-encoder-0.5Bモデルに基づく静的量子化バージョンで、主にテキストエンコーディングタスクに使用されます。

Qwen2.5-3Bをファインチューニングしたアラビア語推論専用言語モデルで、アラビア語言語モデルの論理推論と数学問題解決能力の向上に焦点を当てています。

これはQVikhr-2.5-1.5B-Instruct-SMPOモデルを基にした4ビット量子化バージョンで、MLXフレームワーク向けに最適化されており、ロシア語と英語のコマンド理解と生成タスクをサポートします。

DeepSeek-R1-Distill-Llama-8BはLlamaアーキテクチャに基づく蒸留版大規模言語モデルで、パラメータ規模は8B、主に英語テキスト生成と理解タスクに使用されます。

Phi-4はマイクロソフトが開発した高効率な小型言語モデルで、限られたリソース下での高性能推論を実現

Llama3.2アーキテクチャに基づく1Bパラメータ量子化モデル、テキスト生成タスクをサポート、様々な量子化バージョン選択に対応

H2O.aiによって微調整された40億パラメータのチャットモデル、Llama 2アーキテクチャを基に調整、8192トークンのコンテキスト長をサポート

Cotype-Nanoは軽量LLMで、最小限のリソースでタスクを実行するように設計されています。リソースが制限された条件下でも高性能を発揮し、ユーザーとの迅速で効率的なインタラクションを実現するために最適化されています。

Llama3.1-Neo-1B-100wは、Meta-Llama-3.1-8B-Instructを1.4Bパラメータ規模にプルーニングし、LLM-Neoメソッド（LoRAと知識蒸留を組み合わせた）でファインチューニングした効率的な言語モデルです。トレーニングデータはBAAI/Infinity-Instructの100万行からサンプリングされています。

H2O.aiが開発した500Mパラメータの対話微調整モデル、Llama 2アーキテクチャを基に調整、中国語対話をサポート

GemmaはGoogleが提供する軽量オープンソース大規模言語モデルシリーズで、Geminiモデルと同じ技術に基づいて構築されており、様々なテキスト生成タスクに適しています。

これはTinyChatデータセットを使用してゼロからトレーニングされた小型言語モデルで、最小規模のモデルで自然な会話応答を実現することを目的としています。

Llama 3アーキテクチャに基づく8Bパラメータモデル、複数のDPOデータセットでトレーニングされ、テキスト生成タスクに特化

LLaVA-Phi-3-mini は Phi-3-mini-4k-instruct と CLIP-ViT-Large-patch14-336 をファインチューニングした LLaVA モデルで、画像からテキストへの変換タスクに特化しています。

BllossomはLlama3をベースにした韓英バイリンガル言語モデルで、韓国語能力を全面的にチューニングし、韓国語の語彙を拡張し、韓国語のコンテキスト処理能力を最適化しました。

WikiChat-v0.2は現在訓練中の対話モデルで、OpenOrca GPT-4データ、cosmopedia、dolly15kデータセットに基づいて訓練され、英語テキスト生成タスクをサポートします。

ゼロから構築した大規模言語モデルで、トークナイザーのトレーニング、モデル初期化、事前トレーニング、命令ファインチューニングまでの全プロセスをオープンソースで実装

これはDeepSeek-LLM-67B-Chatアーキテクチャに基づくランダム初期化の小型モデルで、float16精度を採用し、主にテキスト生成タスクに使用されます。

Gemma-KoはGoogleのGemmaモデルを基に開発された韓国語大規模言語モデルで、7Bパラメータバージョンを提供し、韓国語と英語のテキスト生成タスクに適しています。

TinyLlamaモデルをベースに、LoRA手法を用いて暗号通貨のニュース記事で微調整された感情分析モデル

Llava-Phi2はPhi2をベースにしたマルチモーダル実装で、視覚と言語処理能力を組み合わせ、画像テキストからテキストへのタスクに適しています。

医学データでファインチューニングされた1.1Bパラメータの対話型言語モデル、医学試験ベンチマークで平均13.76%向上

MobileLLaMA-1.4B-BaseのGGUF量子化フォーマット版、ローカルデプロイと推論に適しています

MobileLLaMA-1.4B-Baseは14億パラメータのTransformerモデルで、RedPajama v1データセットに基づいてトレーニングされ、すぐに使用できるデプロイメント向けに設計されています。

Cendol mT5-small Chatは3億パラメータのオープンソース生成型大規模言語モデルで、インドネシア語、スンダ語、ジャワ語向けに命令チューニングされており、単一ターン対話シナリオに適しています。

TinyLlamaはLLaMAアーキテクチャに基づく小型言語モデルで、パラメータ規模は11億、alpaca-cleanedデータセットを使用してファインチューニングされています。

TinyLlama 1.5Tチェックポイントは、質問に答えるために訓練された1.1Bパラメータの小型言語モデルです。

Sheared-LLaMA-2.7BはLlama-2-7bを剪枝と継続事前学習によって得られた軽量言語モデルで、わずか50Bトークンの予算で作成されました。

Sheared-LLaMA-1.3BはLLaMA-2-7Bを基に構造化プルーニングと継続事前学習を行った効率的な言語モデルです

Chinese-LLaMA-2-1.3BはMetaがリリースしたLlama-2モデルを基にした中国語基礎モデルで、中国語語彙を拡張し中国語事前学習を行い、中国語の基礎的な意味理解能力を向上させています。

これはLlama 2 7Bモデルの4ビットGPTQ量子化バージョンで、Pythonコード生成タスクに特化してファインチューニングされています

Open_LLaMA-3Bモデルをベースにした説明的チューニングモデルで、Alpacaデータセットの指示と入力を使用し、Orca研究論文のデータセット構築方法を適用しています。

Databricksが開発した28億パラメータの命令微調整大規模言語モデル。pythia-2.8bアーキテクチャを基盤とし、1.5万件の命令データで微調整されており、商用利用が可能