B

Bielik 1.5B V3.0 Instruct FP8 Dynamic

speakleashによって開発
これはBielik-1.5B-v3.0-Instructモデルを基にしたFP8動的量子化バージョンで、vLLMまたはSGLang推論フレームワークに適応しています。AutoFP8量子化技術により、パラメータのビット数を16ビットから8ビットに削減し、ディスク容量とGPUメモリ要件を大幅に削減しました。
ダウンロード数 31
リリース時間 : 5/4/2025

モデル概要

このモデルはBielik-1.5B-v3.0-Instructの重みと活性化値をFP8データ型で量子化したバージョンで、主にポーランド語テキスト生成タスクに使用されます。

モデル特徴

FP8動的量子化
AutoFP8量子化技術を採用し、パラメータのビット数を16ビットから8ビットに削減、ディスク容量とGPUメモリ要件を約50%削減
効率的な推論
vLLM >= 0.5.0またはSGLang推論フレームワークに適応し、推論効率を最適化
ポーランド語最適化
ポーランド語テキスト生成タスクに特化して最適化

モデル能力

ポーランド語テキスト生成
命令追従

使用事例

インテリジェントアシスタント
ポーランド語Q&Aシステム
ポーランド語インテリジェントQ&Aアシスタント構築に使用
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase