Neurobert Tiny

🚀 NeuroBERT-Tiny — 适用于边缘计算与物联网的轻量级BERT模型

NeuroBERT-Tiny是一款专为边缘计算和物联网设备设计的轻量级NLP模型。它基于google-bert/bert-base-uncased优化而来，拥有仅约15MB的小巧体积和~4M的参数，却能在资源受限的环境中实现高效的上下文语言理解。该模型支持离线操作，具备低延迟的特性，非常适合对隐私要求较高且网络连接有限的应用场景。

🚀 快速开始

模型概述

NeuroBERT-Tiny是一个超轻量级的NLP模型，它源自google/bert-base-uncased，针对边缘和物联网设备的实时推理进行了优化。该模型量化后的大小约为15MB，参数约为4M，能够在移动应用、可穿戴设备、微控制器和智能家居设备等资源受限的环境中实现高效的上下文语言理解。它专为低延迟和离线操作而设计，非常适合对隐私要求较高且网络连接有限的应用场景。

• 模型名称：NeuroBERT-Tiny
• 大小：约15MB（量化后）
• 参数：约4M
• 架构：轻量级BERT（2层，隐藏层大小为128，2个注意力头）
• 许可证：MIT — 可免费用于商业和个人用途

安装依赖

安装所需的依赖项：

pip install transformers torch

确保你的环境支持Python 3.6+，并且有大约15MB的存储空间用于存储模型权重。

下载模型

通过Hugging Face下载

• 访问模型地址 boltuix/NeuroBERT-Tiny。
• 下载模型文件（约15MB）或克隆仓库：

git clone https://huggingface.co/boltuix/NeuroBERT-Tiny

通过Transformers库加载

在Python中直接加载模型：

from transformers import AutoModelForMaskedLM, AutoTokenizer
model = AutoModelForMaskedLM.from_pretrained("boltuix/NeuroBERT-Tiny")
tokenizer = AutoTokenizer.from_pretrained("boltuix/NeuroBERT-Tiny")

手动下载

从Hugging Face模型中心下载量化后的模型权重，然后提取并集成到你的边缘/物联网应用中。

快速上手示例

掩码语言建模

使用掩码语言建模预测物联网相关句子中缺失的单词：

from transformers import pipeline

# 启动模型
mlm_pipeline = pipeline("fill-mask", model="boltuix/NeuroBERT-Mini")

# 测试效果
result = mlm_pipeline("Please [MASK] the door before leaving.")
print(result[0]["sequence"])  # 输出: "Please open the door before leaving."

文本分类

对物联网命令进行意图检测或文本分类：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# 加载分词器和分类模型
model_name = "boltuix/NeuroBERT-Tiny"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
model.eval()

# 示例输入
text = "Turn off the fan"

# 对输入进行分词
inputs = tokenizer(text, return_tensors="pt")

# 获取预测结果
with torch.no_grad():
    outputs = model(**inputs)
    probs = torch.softmax(outputs.logits, dim=1)
    pred = torch.argmax(probs, dim=1).item()

# 定义标签
labels = ["OFF", "ON"]

# 打印结果
print(f"文本: {text}")
print(f"预测意图: {labels[pred]} (置信度: {probs[0][pred]:.4f})")

文本: Turn off the FAN
预测意图: OFF (置信度: 0.5328)

注意：针对特定的分类任务对模型进行微调可以提高准确性。

✨ 主要特性

• 超轻量级：约15MB的占用空间，适合存储空间有限的设备。
• 上下文理解：尽管模型体积小，但仍能捕捉语义关系。
• 离线能力：无需互联网连接即可完全正常运行。
• 实时推理：针对CPU、移动NPU和微控制器进行了优化。
• 应用广泛：支持掩码语言建模（MLM）、意图检测、文本分类和命名实体识别（NER）。

📦 安装指南

安装依赖

pip install transformers torch

环境要求

确保你的环境支持Python 3.6+，并且有大约15MB的存储空间用于存储模型权重。

💻 使用示例

基础用法

掩码语言建模

from transformers import pipeline

# 启动模型
mlm_pipeline = pipeline("fill-mask", model="boltuix/NeuroBERT-Mini")

# 测试效果
result = mlm_pipeline("Please [MASK] the door before leaving.")
print(result[0]["sequence"])  # 输出: "Please open the door before leaving."

文本分类

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# 加载分词器和分类模型
model_name = "boltuix/NeuroBERT-Tiny"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
model.eval()

# 示例输入
text = "Turn off the fan"

# 对输入进行分词
inputs = tokenizer(text, return_tensors="pt")

# 获取预测结果
with torch.no_grad():
    outputs = model(**inputs)
    probs = torch.softmax(outputs.logits, dim=1)
    pred = torch.argmax(probs, dim=1).item()

# 定义标签
labels = ["OFF", "ON"]

# 打印结果
print(f"文本: {text}")
print(f"预测意图: {labels[pred]} (置信度: {probs[0][pred]:.4f})")

高级用法

模型评估

from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch

# 加载模型和分词器
model_name = "boltuix/NeuroBERT-Tiny"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)
model.eval()

# 测试数据
tests = [
    ("She is a [MASK] at the local hospital.", "nurse"),
    ("Please [MASK] the door before leaving.", "shut"),
    ("The drone collects data using onboard [MASK].", "sensors"),
    ("The fan will turn [MASK] when the room is empty.", "off"),
    ("Turn [MASK] the coffee machine at 7 AM.", "on"),
    ("The hallway light switches on during the [MASK].", "night"),
    ("The air purifier turns on due to poor [MASK] quality.", "air"),
    ("The AC will not run if the door is [MASK].", "open"),
    ("Turn off the lights after [MASK] minutes.", "five"),
    ("The music pauses when someone [MASK] the room.", "enters")
]

results = []

# 运行测试
for text, answer in tests:
    inputs = tokenizer(text, return_tensors="pt")
    mask_pos = (inputs.input_ids == tokenizer.mask_token_id).nonzero(as_tuple=True)[1]
    with torch.no_grad():
        outputs = model(**inputs)
    logits = outputs.logits[0, mask_pos, :]
    topk = logits.topk(5, dim=1)
    top_ids = topk.indices[0]
    top_scores = torch.softmax(topk.values, dim=1)[0]
    guesses = [(tokenizer.decode([i]).strip().lower(), float(score)) for i, score in zip(top_ids, top_scores)]
    results.append({
        "句子": text,
        "预期结果": answer,
        "预测结果": guesses,
        "是否通过": answer.lower() in [g[0] for g in guesses]
    })

# 打印结果
for r in results:
    status = "✅ 通过" if r["是否通过"] else "❌ 失败"
    print(f"\n句子: {r['句子']}")
    print(f"预期结果: {r['预期结果']}")
    print("前5个预测结果 (单词 : 置信度):")
    for word, score in r['预测结果']:
        print(f"   - {word:12} | {score:.4f}")
    print(status)

# 总结
pass_count = sum(r["是否通过"] for r in results)
print(f"\n总通过数: {pass_count}/{len(tests)}")

模型微调

为了使NeuroBERT-Tiny适应自定义的物联网任务（例如特定的智能家居命令），可以按照以下步骤进行微调：

#!pip uninstall -y transformers torch datasets
#!pip install transformers==4.44.2 torch==2.4.1 datasets==3.0.1

import torch
from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
from datasets import Dataset
import pandas as pd

# 1. 准备示例物联网数据集
data = {
    "文本": [
        "Turn on the fan",
        "Switch off the light",
        "Invalid command",
        "Activate the air conditioner",
        "Turn off the heater",
        "Gibberish input"
    ],
    "标签": [1, 1, 0, 1, 1, 0]  # 1表示有效的物联网命令，0表示无效命令
}
df = pd.DataFrame(data)
dataset = Dataset.from_pandas(df)

# 2. 加载分词器和模型
model_name = "boltuix/NeuroBERT-Tiny"  # 使用NeuroBERT-Tiny
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)

# 3. 对数据集进行分词
def tokenize_function(examples):
    return tokenizer(examples["文本"], padding="max_length", truncation=True, max_length=64)  # 针对物联网命令设置较短的最大长度

tokenized_dataset = dataset.map(tokenize_function, batched=True)

# 4. 设置PyTorch格式
tokenized_dataset.set_format("torch", columns=["input_ids", "attention_mask", "标签"])

# 5. 定义训练参数
training_args = TrainingArguments(
    output_dir="./iot_neurobert_results",
    num_train_epochs=5,  # 针对小数据集增加训练轮数
    per_device_train_batch_size=2,
    logging_dir="./iot_neurobert_logs",
    logging_steps=10,
    save_steps=100,
    evaluation_strategy="no",
    learning_rate=3e-5,  # 针对NeuroBERT-Tiny调整学习率
)

# 6. 初始化训练器
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
)

# 7. 微调模型
trainer.train()

# 8. 保存微调后的模型
model.save_pretrained("./fine_tuned_neurobert_iot")
tokenizer.save_pretrained("./fine_tuned_neurobert_iot")

# 9. 示例推理
text = "Turn on the light"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=64)
model.eval()
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits
    predicted_class = torch.argmax(logits, dim=1).item()
print(f"预测类别: {'有效的物联网命令' if predicted_class == 1 else '无效命令'}")

模型部署

将微调后的模型导出为ONNX或TensorFlow Lite格式，以便在边缘设备上部署。

📚 详细文档

评估指标

注意：指标会根据硬件（如树莓派4、安卓设备）和微调情况而有所不同。在目标设备上进行测试以获得准确的结果。

应用场景

NeuroBERT-Tiny专为计算资源和网络连接有限的边缘和物联网场景而设计。主要应用包括：

• 智能家居设备：解析命令，如 “Turn [MASK] the coffee machine”（预测 “on”）或 “The fan will turn [MASK]”（预测 “off”）。
• 物联网传感器：解释传感器上下文，如 “The drone collects data using onboard [MASK]”（预测 “sensors”）。
• 可穿戴设备：实时意图检测，如 “The music pauses when someone [MASK] the room”（预测 “enters”）。
• 移动应用：离线聊天机器人或语义搜索，如 “She is a [MASK] at the hospital”（预测 “nurse”）。
• 语音助手：本地命令解析，如 “Please [MASK] the door”（预测 “shut”）。
• 玩具机器人：交互式玩具的轻量级命令理解。
• 健身追踪器：本地文本反馈处理，如情感分析。
• 汽车助手：无需云API的离线命令消歧。

硬件要求

• 处理器：CPU、移动NPU或微控制器（如ESP32、树莓派）
• 存储空间：约15MB用于存储模型权重（量化后以减小占用空间）
• 内存：约50MB RAM用于推理
• 环境：离线或低网络连接环境

量化处理确保了最小的内存使用，使其非常适合微控制器。

训练数据

• 自定义物联网数据集：精心策划的数据，专注于物联网术语、智能家居命令和传感器相关上下文（源自chatgpt-datasets）。这有助于提高模型在命令解析和设备控制等任务上的性能。

建议在特定领域的数据上进行微调以获得最佳效果。

与其他模型的比较

NeuroBERT-Tiny针对物联网的优化训练和量化处理使其比DistilBERT等较大的模型更适合微控制器。

🔧 技术细节

模型架构

NeuroBERT-Tiny采用轻量级BERT架构，包含2层，隐藏层大小为128，2个注意力头。这种架构设计在保证模型性能的同时，尽可能减小了模型的大小和计算量。

量化处理

为了进一步减小模型的大小和内存占用，NeuroBERT-Tiny采用了量化技术。量化后的模型大小约为15MB，能够在资源受限的设备上高效运行。

训练优化

模型在自定义的物联网数据集上进行了训练，该数据集专注于物联网术语、智能家居命令和传感器相关上下文。这种针对性的训练使得模型在物联网任务上表现出色。

📄 许可证

本项目采用MIT许可证，可免费用于商业和个人用途。详情请见 LICENSE。

致谢

• 基础模型：google-bert/bert-base-uncased
• 优化者：boltuix，为边缘AI应用进行了量化处理
• 库：Hugging Face的transformers团队提供了模型托管和工具

支持与社区

如果你有任何问题、疑问或想要贡献代码，可以：

• 访问 Hugging Face模型页面
• 在 仓库 中提交问题
• 参与Hugging Face上的讨论或通过拉取请求进行贡献
• 查看 Transformers文档 获取指导

深入了解

如果你想深入了解NeuroBERT-Tiny的设计和实际应用，请阅读 Boltuix.com上的完整文章，其中包括架构概述、应用场景和微调技巧。

我们欢迎社区的反馈，以进一步提升NeuroBERT-Tiny在物联网和边缘计算应用中的性能！