Smollm 135M Instruct

🚀 litert-community/SmolLM-135M-Instruct

このモデルは、HuggingFaceTB/SmolLM-135M-Instruct のいくつかのバリエーションを提供しています。これらのバリエーションは、LiteRT (旧称 TFLite) スタック と MediaPipe LLM Inference API を使用して Android でのデプロイが可能です。

🚀 クイックスタート

Colabでの使用

免責事項: LiteRTモデルのターゲットデプロイ先はAndroid/iOS/Webであり、これらのターゲットでのパフォーマンスが最適化されています。Colabでシステムを試すことは、LiteRTスタックに慣れるための簡単な方法ですが、Colabでのパフォーマンス（メモリとレイテンシ）はローカルデバイスよりも大幅に劣る可能性があります。

Androidでの使用

• アプリケーションパッケージ（APK） をダウンロードしてインストールします。
• アプリ内の指示に従います。

デモアプリをソースからビルドするには、GitHubリポジトリの指示に従ってください。

✨ パフォーマンス

Android

すべてのベンチマーク統計は、1280 KVキャッシュサイズで複数のプリフィルシグネチャが有効になっているSamsung S24 Ultraから取得されています。

• モデルサイズ: .tfliteフラットバッファ（LiteRTモデルのシリアル化形式）のサイズで測定されます。
• メモリ: ピークRAM使用量の指標です。
• CPUでの推論は、4スレッドのLiteRT XNNPACK デリゲートを介して高速化されています。
• ベンチマークは、キャッシュを有効にして初期化した状態で実行されます。初回実行時には、最初のトークンまでの時間が異なる場合があります。
• dynamic_int4: int4重みと浮動小数点活性化関数を持つ量子化モデル。
• dynamic_int8: int8重みと浮動小数点活性化関数を持つ量子化モデル。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。