Deepseek R1 Distill Qwen 1.5B

🚀 litert-community/DeepSeek-R1-Distill-Qwen-1.5B

このモデルは、deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B のいくつかのバリエーションを提供しています。これらは、LiteRT (旧称 TFLite) スタック と MediaPipe LLM Inference API を使用して Android でのデプロイに適しています。

🚀 クイックスタート

モデルの使用

Colab

⚠️ 重要提示

LiteRTモデルのターゲットデプロイメント先はAndroid/iOS/Webであり、これらのターゲットでのパフォーマンスを最適化しています。Colabでシステムを試すことは、LiteRTスタックに慣れる簡単な方法ですが、Colabでのパフォーマンス（メモリとレイテンシ）はローカルデバイスよりも大幅に劣る可能性があります。

Android

• APK をダウンロードしてインストールします。
• アプリ内の指示に従います。

デモアプリをソースからビルドするには、GitHubリポジトリの指示に従ってください。

パフォーマンス

Android

すべてのベンチマーク統計は、1280 KVキャッシュサイズで複数のプリフィル署名が有効になっているSamsung S24 Ultraから取得されたものです。

• モデルサイズ: .tfliteフラットバッファ（LiteRTモデルのシリアライズ形式）のサイズで測定されます。
• メモリ: ピークRAM使用量の指標です。
• CPUでの推論は、4スレッドのLiteRT XNNPACK デリゲートを介して高速化されています。
• ベンチマークは、XNNPACKキャッシュが有効になっていると仮定して行われています。
• dynamic_int8: int8の重みとfloatの活性化関数を持つ量子化モデルです。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。