Tinyfrank 1.4B

🚀 Undi95 type frankenstein of TinyLLama 1.1b

このプロジェクトは、TinyLlama 1.1Bのカスタムモデルであり、GGUF形式のカスタム量子化モデルを含んでいます。また、モデルの構築方法や実行方法についても提供しています。

🚀 クイックスタート

モデルの構築方法

slices:
  - sources:
    - model: "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
      layer_range: [0, 14]
  - sources:
    - model: "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
      layer_range: [8, 22]
merge_method: passthrough
dtype: bfloat16

モデルの実行方法

git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make -j
wget https://huggingface.co/SkunkworksAI/tinyfrank-1.4B/resolve/main/tinyfrank-q6L.gguf
./server -m tinyfrank-q6L.gguf --host "my.internal.ip.or.my.cloud.host.name.goes.here.com" -c 512

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。