Tinyfrank 1.4B

🚀 Undi95類型的TinyLlama 1.1b融合模型

本項目是Undi95類型的TinyLlama 1.1b融合模型，結合了特定的切片和合並方法，還包含了GGUF自定義量化。它參考了TinyLlama的相關模型，為用戶提供了獨特的使用體驗。

🚀 快速開始

項目相關鏈接

• TinyLlama項目GitHub地址
• TinyLlama-1.1B-Chat-v1.0模型Hugging Face地址

融合模型的秘密配方

slices:
  - sources:
    - model: "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
      layer_range: [0, 14]
  - sources:
    - model: "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
      layer_range: [8, 22]
merge_method: passthrough
dtype: bfloat16

以GGUF格式運行模型的步驟

# 克隆llama.cpp倉庫並進入目錄，然後編譯
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make -j
# 下載模型文件
wget https://huggingface.co/SkunkworksAI/tinyfrank-1.4B/resolve/main/tinyfrank-q6L.gguf
# 運行服務器
./server -m tinyfrank-q6L.gguf --host "my.internal.ip.or.my.cloud.host.name.goes.here.com" -c 512

📄 許可證

本項目採用Apache 2.0許可證。