# 低メモリ推論

モバイル端末へのデプロイに最適化された軽量命令微調整言語モデル

Falcon-E-3B-Instructは1.58ビットアーキテクチャに基づく高効率な言語モデルで、エッジデバイス向けに最適化されており、優れた推論能力と低メモリ消費を特徴とします。

Falcon-E-1B-Instructは、1.58ビットアーキテクチャに基づく効率的な言語モデルで、エッジデバイス向けに最適化されており、低メモリ使用量と高性能を特徴としています。

all-MiniLM-L6-v2はMiniLMアーキテクチャに基づく小型で効率的な文埋め込みモデルで、文の類似度計算や特徴抽出タスクに適しています。

Llama-3-8B-InstructベースのIQ-DynamicGate超低ビット量子化(1-2ビット)モデルで、精度適応量子化技術を採用し、極限のメモリ効率を維持しながら推論精度を向上させます。

PrunaAIが提供する圧縮版MPT-7B-Chatモデル。llm-int8技術で最適化され、メモリ使用量と消費電力を大幅に削減。

NLLB-200 Distilled 1.3BはMetaが開発したニューラル機械翻訳モデルで、200言語間の翻訳をサポートし、CTranslate2を使用した効率的な推論が可能です。

BTLM-3B-8k-baseは8kコンテキスト長を持つ30億パラメータの言語モデルで、6270億トークンのSlimPajamaデータセットでトレーニングされ、オープンソースの70億パラメータモデルに匹敵する性能を発揮します。