34b Beta

🚀 CausalLM 34B β

CausalLM 34B β 是一款強大的語言模型，本項目提供了該模型的演示鏈接，同時說明了模型的提示格式、當前存在的問題及使用注意事項，還展示了模型在 MT - Bench 上的表現以及相關汙染檢測數據。

🚀 快速開始

你可以通過以下鏈接訪問模型演示： ](https://huggingface.co/spaces/JosephusCheung/CausalLM-34B-8-bit-GGUF)

✨ 主要特性

提示格式

採用 chatml 提示格式。

MT - Bench 表現

在 MT - Bench 測試中取得了 8.5 的成績。

汙染檢測

數據來源於 https://huggingface.co/spaces/Yeyito/llm_contamination_detector，該模型應該是 安全的，它未在基準測試上進行訓練，但由於成本限制，訓練數據集的汙染不可避免。

🔧 技術細節

模型權重在精度方面存在一些問題。在下一版本更新中，我們將回退部分進度並重新訓練，以儘快解決這些問題。

📄 許可證

本項目採用 GPL - 3.0 許可證。

💡 使用建議

⚠️ 重要提示

模型權重存在精度問題，在下一版本更新中會進行修復。

💡 使用建議

請暫時不要使用像 VLLM 這樣的“加速推理框架”，而是使用 Transformers 進行推理。否則，由於精度問題，輸出質量將顯著下降。如果需要更快的推理速度，可以考慮暫時使用 llama.cpp 的 q8_0 量化（僅針對此模型，比 bf16 vllm 更快更好）或等待官方版本。另外，請不要使用 wikitext 進行量化校準，因為所有 wikitext 都已在合成數據集上重新對齊，其分佈與原始 wikitext 有顯著差異。同時，該模型不使用 repetition_penalty。