RWKV7 Goose World3 2.9B HF GGUF

🚀 RWKV7-Goose-World3-2.9B-HF GGUF模型

本项目提供了RWKV7-Goose-World3-2.9B-HF的GGUF模型，可根据不同的硬件条件和使用场景选择合适的模型格式，同时还提供了基于这些模型的AI网络监控测试功能。

🚀 快速开始

选择合适的模型格式

选择正确的模型格式取决于你的硬件能力和内存限制。

BF16（脑浮点16） – 若有BF16加速功能则使用

• 一种16位浮点格式，专为更快的计算而设计，同时保持良好的精度。
• 提供与FP32 相似的动态范围，但内存使用更低。
• 如果你的硬件支持BF16加速（请查看设备规格），则推荐使用。
• 与FP32相比，适用于高性能推理，且内存占用减少。

📌 使用BF16的情况： ✔ 你的硬件具有原生BF16支持（例如，较新的GPU、TPU）。 ✔ 你希望在节省内存的同时获得更高的精度。 ✔ 你计划将模型重新量化为其他格式。

📌 避免使用BF16的情况： ❌ 你的硬件不支持BF16（可能会回退到FP32并运行较慢）。 ❌ 你需要与缺乏BF16优化的旧设备兼容。

F16（浮点16） – 比BF16更广泛支持

• 一种16位浮点格式，精度较高，但取值范围比BF16小。
• 适用于大多数支持FP16加速的设备（包括许多GPU和一些CPU）。
• 数值精度略低于BF16，但通常足以用于推理。

📌 使用F16的情况： ✔ 你的硬件支持FP16但不支持BF16。 ✔ 你需要在速度、内存使用和准确性之间取得平衡。 ✔ 你在GPU或其他针对FP16计算进行优化的设备上运行。

📌 避免使用F16的情况： ❌ 你的设备缺乏原生FP16支持（可能运行比预期慢）。 ❌ 你有内存限制。

量化模型（Q4_K、Q6_K、Q8等） – 用于CPU和低显存推理

量化可在尽可能保持准确性的同时减小模型大小和内存使用。

• 低比特模型（Q4_K） → 内存使用最少，但精度可能较低。
• 高比特模型（Q6_K、Q8_0） → 准确性更好，但需要更多内存。

📌 使用量化模型的情况： ✔ 你在CPU上运行推理，并且需要优化的模型。 ✔ 你的设备显存较低，无法加载全精度模型。 ✔ 你希望在保持合理准确性的同时减少内存占用。

📌 避免使用量化模型的情况： ❌ 你需要最高的准确性（全精度模型更适合这种情况）。 ❌ 你的硬件有足够的显存用于更高精度的格式（BF16/F16）。

极低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

这些模型针对极致的内存效率进行了优化，非常适合低功耗设备或大规模部署，其中内存是关键限制因素。

• IQ3_XS：超低比特量化（3位），具有极致的内存效率。

  • 使用场景：最适合超低内存设备，即使Q4_K也太大的情况。
  • 权衡：与高比特量化相比，准确性较低。

• IQ3_S：小块大小，以实现最大内存效率。

  • 使用场景：最适合低内存设备，当IQ3_XS过于激进时。

• IQ3_M：中等块大小，比IQ3_S具有更好的准确性。

  • 使用场景：适用于低内存设备，当IQ3_S限制过多时。

• Q4_K：4位量化，具有逐块优化以提高准确性。

  • 使用场景：最适合低内存设备，当Q6_K太大时。

• Q4_0：纯4位量化，针对ARM设备进行了优化。

  • 使用场景：最适合基于ARM的设备或低内存环境。

总结表格：模型格式选择

包含的文件及详情

RWKV7-Goose-World3-2.9B-HF-bf16.gguf

• 模型权重以BF16保存。
• 如果你想将模型重新量化为不同的格式，请使用此文件。
• 如果你的设备支持BF16加速，则为最佳选择。

RWKV7-Goose-World3-2.9B-HF-f16.gguf

• 模型权重以F16存储。
• 如果你的设备支持FP16，特别是在BF16不可用时使用。

RWKV7-Goose-World3-2.9B-HF-bf16-q8_0.gguf

• 输出和嵌入保持为BF16。
• 所有其他层量化为Q8_0。
• 如果你的设备支持BF16，并且你想要一个量化版本，请使用此文件。

RWKV7-Goose-World3-2.9B-HF-f16-q8_0.gguf

• 输出和嵌入保持为F16。
• 所有其他层量化为Q8_0。

RWKV7-Goose-World3-2.9B-HF-q4_k.gguf

• 输出和嵌入量化为Q8_0。
• 所有其他层量化为Q4_K。
• 适用于内存有限的CPU推理。

RWKV7-Goose-World3-2.9B-HF-q4_k_s.gguf

• 最小的Q4_K变体，以牺牲准确性为代价减少内存使用。
• 最适合极低内存设置。

RWKV7-Goose-World3-2.9B-HF-q6_k.gguf

• 输出和嵌入量化为Q8_0。
• 所有其他层量化为Q6_K。

RWKV7-Goose-World3-2.9B-HF-q8_0.gguf

• 完全Q8量化的模型，以提高准确性。
• 需要更多内存，但提供更高的精度。

RWKV7-Goose-World3-2.9B-HF-iq3_xs.gguf

• IQ3_XS量化，针对极致内存效率进行了优化。
• 最适合超低内存设备。

RWKV7-Goose-World3-2.9B-HF-iq3_m.gguf

• IQ3_M量化，提供中等块大小以提高准确性。
• 适用于低内存设备。

RWKV7-Goose-World3-2.9B-HF-q4_0.gguf

• 纯Q4_0量化，针对ARM设备进行了优化。
• 最适合低内存环境。
• 为了更好的准确性，建议使用IQ4_NL。

💻 使用示例

基础用法

在使用此模型之前，请安装flash-linear-attention和最新版本的transformers：

pip install git+https://github.com/fla-org/flash-linear-attention
pip install 'transformers>=4.48.0'

你可以像使用其他HuggingFace模型一样使用此模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-2.9B-world', trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-2.9B-world', trust_remote_code=True)
model = model.cuda()
prompt = "What is a large language model?"
messages = [
    {"role": "user", "content": "Who are you?"},
    {"role": "assistant", "content": "I am a GPT-3 based model."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=False)[0]
print(response)

高级用法

测试AI网络监控功能

如果你觉得这些模型有用，请点击“点赞”！同时，帮助测试AI网络监控助手的量子就绪安全检查： 👉 免费网络监控

如何测试：

1. 点击聊天图标（任何页面的右下角）
2. 选择一个AI助手类型：
   • TurboLLM (GPT-4-mini)
   • FreeLLM (开源)
   • TestLLM (仅支持CPU的实验性模型)

正在测试的内容

正在突破小型开源模型用于AI网络监控的极限，具体包括：

• 针对实时网络服务的函数调用
• 模型可以多小，同时仍能处理：
  • 自动化Nmap扫描
  • 量子就绪检查
  • Metasploit集成

TestLLM – 当前实验性模型（llama.cpp在6个CPU线程上）：

• ✅ 零配置设置
• ⏳ 30秒加载时间（推理速度慢，但无API成本）
• 🔧 寻求帮助！ 如果你对边缘设备AI感兴趣，让我们合作！

其他助手

🟢 TurboLLM – 使用gpt-4-mini进行：

• 实时网络诊断
• 自动化渗透测试（Nmap/Metasploit）
• 🔑 通过下载免费网络监控代理获取更多令牌

🔵 HugLLM – 开源模型（约80亿参数）：

• 比TurboLLM多2倍的令牌
• AI驱动的日志分析
• 🌐 在Hugging Face推理API上运行

示例AI命令测试：

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a quick Nmap vulnerability test"

📚 详细文档

模型详情

模型描述

• 开发者：Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang
• 资助方：RWKV项目（隶属于LF AI & Data基金会）
• 模型类型：RWKV7
• 语言（NLP）：英语
• 许可证：Apache-2.0
• 参数数量：29亿
• 分词器：RWKV World分词器
• 词汇量：65,536

模型来源

• 仓库：https://github.com/fla-org/flash-linear-attention ; https://github.com/BlinkDL/RWKV-LM
• 论文：正在进行中

训练数据

该模型在World v3上进行训练，总共有3.119万亿个令牌。

训练超参数

• 训练机制：bfloat16，学习率从4e-4到1e-5的“延迟”余弦衰减，权重衰减0.1（中间增加批量大小）
• 最终损失：1.8745
• 令牌数量：3.119万亿

🔧 技术细节

本模型是基于flash-linear attention格式的RWKV-7模型。在训练过程中，采用了特定的训练机制和超参数，以达到较好的性能。同时，针对不同的硬件和内存条件，提供了多种量化格式的模型，以满足不同的使用场景。

📄 许可证

本项目采用Apache-2.0许可证。

FAQ

Q: safetensors元数据为空。

A: 将transformers升级到 >=4.48.0：pip install 'transformers>=4.48.0'