TD HallOumi 3B

🚀 TD-HallOumi-3B：用於幻覺檢測和聲明驗證的Llama 3.2 3B模型

本模型是meta-llama/Llama-3.2-3B-Instruct的微調版本，專門用於聲明驗證和幻覺檢測。它可以評估回覆中的聲明是否有給定上下文文檔的支持。

這項工作受到了Oumi AI的HallOumi項目的啟發，並使用了該項目開發的數據集。該項目旨在通過實現可驗證的輸出，建立人們對AI系統的信任。這個30億參數的模型由TEEN-DIFFERENT社區提供。

🚀 快速開始

本模型專為根據給定的上下文文檔進行聲明驗證而設計。其主要應用場景是檢測大語言模型生成的文本（或人工撰寫的文本）中與源文檔相比存在的幻覺或無根據的聲明。

✨ 主要特性

• 高性能：在oumi-ai/oumi-groundedness-benchmark基準測試中，TD-HallOumi-3B*的宏F1分數達到了68.00%。
• 高效性：這個30億參數的模型性能優於Open AI o1、Llama 3.1 405B和Gemini 1.5 Pro等更大的模型。
• 競爭力強：排名緊隨Claude Sonnet 3.5（69.60%）之後。

📚 詳細文檔

模型詳情

訓練數據

本模型在由Oumi AI整理的混合數據集上進行了監督微調（SFT），這些數據集專為聲明驗證任務而設計：

• oumi-ai/oumi-anli-subset：基於ANLI提示，回覆由Llama-3.1-405B生成。（許可證：CC-BY-NC-4.0）
• oumi-ai/oumi-c2d-d2c-subset：基於C2D-and-D2C-MiniCheck提示，回覆由Llama-3.1-405B生成。（許可證：Llama 3.1社區許可證）
• oumi-ai/oumi-synthetic-claims：基於文檔，使用Llama-3.1-405B合成生成的聲明和驗證標籤。（許可證：Llama 3.1社區許可證）
• oumi-ai/oumi-synthetic-document-claims：使用Llama-3.1-405B合成生成的文檔、請求（問答、摘要）、回覆和驗證標籤。詳細說明了涉及<document>、<request>和<|supported|>/<|unsupported|>標籤的提示結構。（許可證：Llama 3.1社區許可證）

組合訓練數據使用了為對話式SFT格式化的messages列。

訓練過程

• 框架：TRL（Transformer強化學習庫）SFT訓練器。
• 適配器方法：在微調過程中使用了低秩適應（LoRA），參數如下：
  • lora_r: 64
  • lora_alpha: 128
  • lora_dropout: 0.05
  • lora_target_modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• 最終模型：雖然使用LoRA進行訓練，但此處託管的最終保存模型工件包含完全合併的權重，將LoRA調整合併到基礎模型中，以便於部署。
• 關鍵超參數：
  • 輪數：1
  • 學習率：4.0e - 5（餘弦調度，100個熱身步驟）
  • 優化器：AdamW（融合）
  • 批量大小（每個設備）：2
  • 梯度累積步數：8（有效批量大小 = 16 * 設備數量）
  • 權重衰減：0.01
  • 最大序列長度：8192
  • 精度：bfloat16
  • 梯度檢查點：啟用（use_reentrant=False）
• 分詞器：使用了基礎的Llama 3.2分詞器，並在訓練期間添加了特殊的填充標記<|finetune_right_pad_id|>。此倉庫中包含的分詞器文件反映了這一點。

完整的訓練配置可在Github上找到。

評估

• 基準測試：可以使用oumi-ai/oumi-groundedness-benchmark評估模型在聲明驗證方面的性能。這個基準測試由Oumi AI專門為評估幻覺檢測模型而開發，包含各種文檔、請求和帶有驗證標籤的AI生成回覆。
• 指標：此任務的標準指標包括“支持”（0）和“不支持”（1）類之間的宏F1分數和平衡準確率。
• 參考性能：Oumi AI的HallOumi - 8B模型在這個基準測試中實現了77.2%的宏F1分數。這個30億參數模型的性能可能會有所不同。

完整的訓練配置可在Github上找到。

預期用途

本模型專為根據給定的上下文文檔進行聲明驗證而設計。其主要應用場景是檢測大語言模型生成的文本（或人工撰寫的文本）中與源文檔相比存在的幻覺或無根據的聲明。

它並非用於通用聊天機器人，也不適用於與依據驗證無關的任務。

侷限性和偏差

• 繼承偏差：作為meta-llama/Llama-3.2-3B-Instruct的微調版本，本模型可能繼承基礎模型與其訓練數據相關的偏差。
• 合成數據偏差：微調數據主要使用Llama-3.1-405B-Instruct生成，可能包含生成模型特有的偏差或侷限性。
• 特異性：模型專門針對其訓練的聲明驗證任務格式進行了優化。在顯著不同的提示結構或任務上，性能可能會下降。
• 上下文依賴性：驗證準確性完全取決於所提供上下文文檔的質量和相關性。模型無法根據上下文中不存在的通用世界知識來驗證聲明。
• 細微差別：儘管在訓練時考慮了細微差別（符合HallOumi項目的目標），但複雜或高度微妙的聲明可能仍然難以正確驗證。

引用

如果您使用此模型，請考慮引用基礎模型、數據集、Oumi AI的HallOumi項目以及這個特定的微調模型工件：

此微調模型（TD-HallOumi-3B）：

@misc{teen_d_halloumi_3b_2024,
  author = {Tarun Reddi and Teen Different}, 
  title = {TD-HallOumi-3B: Fine-tuned Llama-3.2-3B-Instruct for Claim Verification},
  month = {April},
  year = {2025}, 
  url = {\url{https://huggingface.co/TEEN-D/TD-HallOumi-3B}} 
}

基礎模型：

@misc{meta2024llama32,
  title = {Introducing Llama 3.2: The Next Generation of Open Weights AI Models},
  author = {Meta AI},
  year = {2024},
  url = {https://ai.meta.com/blog/llama-3-2-ai-models/}
}

數據集：

@misc{oumiANLISubset,
  author = {Jeremiah Greer},
  title = {Oumi ANLI Subset},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-anli-subset}
}

@misc{oumiC2DAndD2CSubset,
  author = {Jeremiah Greer},
  title = {Oumi C2D and D2C Subset},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-c2d-d2c-subset}
}

@misc{oumiSyntheticClaims,
  author = {Jeremiah Greer},
  title = {Oumi Synthetic Claims},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-synthetic-claims}
}

@misc{oumiSyntheticDocumentClaims,
  author = {Jeremiah Greer},
  title = {Oumi Synthetic Document Claims},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-synthetic-document-claims}
}

@misc{oumiGroundednessBenchmark,
  author = {Jeremiah Greer},
  title = {Oumi Groundedness Benchmark},
  month = {March},
  year = {2025},
  url = {https://huggingface.co/datasets/oumi-ai/oumi-groundedness-benchmark}
}

Oumi平臺和HallOumi項目：

@software{oumi2025,
  author = {Oumi Community},
  title = {Oumi: an Open, End-to-end Platform for Building Large Foundation Models},
  month = {January},
  year = {2025},
  url = {https://github.com/oumi-ai/oumi}
}

@article{halloumi2025,
  author = {Greer, Jeremiah and Koukoumidis, Manos and Aisopos, Konstantinos and Schuler, Michael},
  title = {Introducing HallOumi: A State-of-the-Art Claim-Verification Model},
  journal = {Oumi AI Blog},
  year = {2025},
  month = {April},
  url = {https://oumi.ai/blog/posts/introducing-halloumi}
}

📄 許可證

本項目採用CC BY-NC 4.0許可證。