Llama 2 7b Privacy

🚀 微調Llama2-7B-Chat用於隱私政策問答與摘要

本項目旨在微調Meta的Llama 2 Transformer模型，藉助PEFT和QloRA技術，實現對隱私政策的分析。隱私政策通常表述複雜且極具專業性，一款能幫助用戶解答問題並總結隱私政策的工具，對於瞭解個人數據的使用方式非常有用。

🚀 快速開始

本工具設計為在Colab上結合Hugging Face的Transformers庫使用。更多信息可查看GitHub上的模型。該模型使用了Maxime Labonne提供的Llama訓練代碼進行訓練，代碼鏈接為此處。

此倉庫中沒有需求文件，因為它使用了Colab上預安裝的依賴項。

✨ 主要特性

• 基於Llama2-7B-Chat進行微調，專門用於隱私政策的問答和摘要。
• 藉助Hugging Face的Transformers庫，方便使用和集成。

📦 安裝指南

由於使用Colab上預安裝的依賴項，無需額外的安裝步驟。

💻 使用示例

基礎用法

# 直接加載模型
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")
model = AutoModelForCausalLM.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")

📚 詳細文檔

結果

我們對模型進行了少量測試，但得到的數據不太明確。如ROUGE評估的Excel表格所示，得分不太理想。不過，我們認為ROUGE評估指標可能並非評判該模型的最佳方式。

下一步計劃

接下來，我們將使用另一個用於隱私政策文本摘要的數據集對模型進行訓練。

📄 許可證

本項目採用Apache-2.0許可證。