Meta Llama 3.1 8B Instruct GGUF

🚀 大語言模型修復說明

本項目針對大語言模型進行了一系列修復，解決了特定版本模型在使用過程中的一些問題，提升了模型的性能和兼容性。

📚 詳細文檔

修復內容

• 針對 3.1 RoPE 縮放因子進行修復（#8676）。
• 在 llama.cpp 中正確支持 Llama 3.1，採用 llama - bpe 作為分詞器（#8650）。
• <|python_tag|> 可用於工具調用。

修復文件

以下文件已完成修復，其他文件正在替換中：

• Meta - Llama - 3.1 - 8B - Instruct.Q4_K_M.gguf
• Meta - Llama - 3.1 - 8B - Instruct.IQ4_XS.gguf

參考鏈接

• https://github.com/ggerganov/llama.cpp/issues/8650
• https://github.com/ggerganov/llama.cpp/pull/8676

📄 許可證

本項目採用其他許可證。