TD HallOumi 3B

🚀 TD-HallOumi-3B：用于幻觉检测和声明验证的Llama 3.2 3B模型

本模型是meta-llama/Llama-3.2-3B-Instruct的微调版本，专门用于声明验证和幻觉检测。它可以评估回复中的声明是否有给定上下文文档的支持。

这项工作受到了Oumi AI的HallOumi项目的启发，并使用了该项目开发的数据集。该项目旨在通过实现可验证的输出，建立人们对AI系统的信任。这个30亿参数的模型由TEEN-DIFFERENT社区提供。

🚀 快速开始

本模型专为根据给定的上下文文档进行声明验证而设计。其主要应用场景是检测大语言模型生成的文本（或人工撰写的文本）中与源文档相比存在的幻觉或无根据的声明。

✨ 主要特性

• 高性能：在oumi-ai/oumi-groundedness-benchmark基准测试中，TD-HallOumi-3B*的宏F1分数达到了68.00%。
• 高效性：这个30亿参数的模型性能优于Open AI o1、Llama 3.1 405B和Gemini 1.5 Pro等更大的模型。
• 竞争力强：排名紧随Claude Sonnet 3.5（69.60%）之后。

📚 详细文档

模型详情

训练数据

本模型在由Oumi AI整理的混合数据集上进行了监督微调（SFT），这些数据集专为声明验证任务而设计：

• oumi-ai/oumi-anli-subset：基于ANLI提示，回复由Llama-3.1-405B生成。（许可证：CC-BY-NC-4.0）
• oumi-ai/oumi-c2d-d2c-subset：基于C2D-and-D2C-MiniCheck提示，回复由Llama-3.1-405B生成。（许可证：Llama 3.1社区许可证）
• oumi-ai/oumi-synthetic-claims：基于文档，使用Llama-3.1-405B合成生成的声明和验证标签。（许可证：Llama 3.1社区许可证）
• oumi-ai/oumi-synthetic-document-claims：使用Llama-3.1-405B合成生成的文档、请求（问答、摘要）、回复和验证标签。详细说明了涉及<document>、<request>和<|supported|>/<|unsupported|>标签的提示结构。（许可证：Llama 3.1社区许可证）

组合训练数据使用了为对话式SFT格式化的messages列。

训练过程

• 框架：TRL（Transformer强化学习库）SFT训练器。
• 适配器方法：在微调过程中使用了低秩适应（LoRA），参数如下：
  • lora_r: 64
  • lora_alpha: 128
  • lora_dropout: 0.05
  • lora_target_modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• 最终模型：虽然使用LoRA进行训练，但此处托管的最终保存模型工件包含完全合并的权重，将LoRA调整合并到基础模型中，以便于部署。
• 关键超参数：
  • 轮数：1
  • 学习率：4.0e - 5（余弦调度，100个热身步骤）
  • 优化器：AdamW（融合）
  • 批量大小（每个设备）：2
  • 梯度累积步数：8（有效批量大小 = 16 * 设备数量）
  • 权重衰减：0.01
  • 最大序列长度：8192
  • 精度：bfloat16
  • 梯度检查点：启用（use_reentrant=False）
• 分词器：使用了基础的Llama 3.2分词器，并在训练期间添加了特殊的填充标记<|finetune_right_pad_id|>。此仓库中包含的分词器文件反映了这一点。

完整的训练配置可在Github上找到。

评估

• 基准测试：可以使用oumi-ai/oumi-groundedness-benchmark评估模型在声明验证方面的性能。这个基准测试由Oumi AI专门为评估幻觉检测模型而开发，包含各种文档、请求和带有验证标签的AI生成回复。
• 指标：此任务的标准指标包括“支持”（0）和“不支持”（1）类之间的宏F1分数和平衡准确率。
• 参考性能：Oumi AI的HallOumi - 8B模型在这个基准测试中实现了77.2%的宏F1分数。这个30亿参数模型的性能可能会有所不同。

完整的训练配置可在Github上找到。

预期用途

本模型专为根据给定的上下文文档进行声明验证而设计。其主要应用场景是检测大语言模型生成的文本（或人工撰写的文本）中与源文档相比存在的幻觉或无根据的声明。

它并非用于通用聊天机器人，也不适用于与依据验证无关的任务。

局限性和偏差

• 继承偏差：作为meta-llama/Llama-3.2-3B-Instruct的微调版本，本模型可能继承基础模型与其训练数据相关的偏差。
• 合成数据偏差：微调数据主要使用Llama-3.1-405B-Instruct生成，可能包含生成模型特有的偏差或局限性。
• 特异性：模型专门针对其训练的声明验证任务格式进行了优化。在显著不同的提示结构或任务上，性能可能会下降。
• 上下文依赖性：验证准确性完全取决于所提供上下文文档的质量和相关性。模型无法根据上下文中不存在的通用世界知识来验证声明。
• 细微差别：尽管在训练时考虑了细微差别（符合HallOumi项目的目标），但复杂或高度微妙的声明可能仍然难以正确验证。

引用

如果您使用此模型，请考虑引用基础模型、数据集、Oumi AI的HallOumi项目以及这个特定的微调模型工件：

此微调模型（TD-HallOumi-3B）：

@misc{teen_d_halloumi_3b_2024,
  author = {Tarun Reddi and Teen Different}, 
  title = {TD-HallOumi-3B: Fine-tuned Llama-3.2-3B-Instruct for Claim Verification},
  month = {April},
  year = {2025}, 
  url = {\url{https://huggingface.co/TEEN-D/TD-HallOumi-3B}} 
}

基础模型：

@misc{meta2024llama32,
  title = {Introducing Llama 3.2: The Next Generation of Open Weights AI Models},
  author = {Meta AI},
  year = {2024},
  url = {https://ai.meta.com/blog/llama-3-2-ai-models/}
}

数据集：

@misc{oumiANLISubset,
  author = {Jeremiah Greer},
  title = {Oumi ANLI Subset},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-anli-subset}
}

@misc{oumiC2DAndD2CSubset,
  author = {Jeremiah Greer},
  title = {Oumi C2D and D2C Subset},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-c2d-d2c-subset}
}

@misc{oumiSyntheticClaims,
  author = {Jeremiah Greer},
  title = {Oumi Synthetic Claims},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-synthetic-claims}
}

@misc{oumiSyntheticDocumentClaims,
  author = {Jeremiah Greer},
  title = {Oumi Synthetic Document Claims},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-synthetic-document-claims}
}

@misc{oumiGroundednessBenchmark,
  author = {Jeremiah Greer},
  title = {Oumi Groundedness Benchmark},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-groundedness-benchmark}
}

Oumi平台和HallOumi项目：

@software{oumi2025,
  author = {Oumi Community},
  title = {Oumi: an Open, End-to-end Platform for Building Large Foundation Models},
  month = {January},
  year = {2025},
  url = {https://github.com/oumi-ai/oumi}
}

@article{halloumi2025,
  author = {Greer, Jeremiah and Koukoumidis, Manos and Aisopos, Konstantinos and Schuler, Michael},
  title = {Introducing HallOumi: A State-of-the-Art Claim-Verification Model},
  journal = {Oumi AI Blog},
  year = {2025},
  month = {April},
  url = {https://oumi.ai/blog/posts/introducing-halloumi}
}

📄 许可证

本项目采用CC BY-NC 4.0许可证。