Llama 2 7b Privacy

🚀 Llama2-7B-ChatのプライバシーポリシーのQ&Aと要約へのファインチューニング

このプロジェクトは、MetaのLlama 2 TransformerをPEFTとQloRAを使ってファインチューニングし、プライバシーポリシーを分析できるようにすることを目的としています。プライバシーポリシーはわかりにくく非常に技術的な文章で書かれているため、ユーザーが質問に答えたり、プライバシーポリシーを要約するのを支援するツールは、個人データの使用方法を理解する上で非常に役立ちます。HOWTO.mdファイルには、このツールの実行方法が簡単に記載されています。

🚀 クイックスタート

このツールは、Hugging FaceのTransformersライブラリを使用してColab上で動作するように設計されています。詳細については、GitHubのモデルを参照してください。このモデルは、Maxime Labonne氏によるLlamaのトレーニングコードを使用してトレーニングされており、こちらから入手できます。

このリポジトリには要件ファイルはありません。Colabに事前にインストールされている依存関係を使用しているためです。

📦 インストール

このモデルは、Hugging FaceのTransformersライブラリを使用して実行されます。以下のコードを使用して読み込むことができます。

# モデルを直接読み込む
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")
model = AutoModelForCausalLM.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")

💻 使用例

基本的な使用法

# モデルを直接読み込む
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")
model = AutoModelForCausalLM.from_pretrained("ChrisPuzzo/llama-2-7b-privacy")

🔧 技術詳細

このモデルに対していくつかの小規模なテストを行いましたが、結果はあまり明確ではありませんでした。ROUGEのExcelシートに示されているように、スコアはあまり良くありませんでした。しかし、ROUGEのテスト指標がこのモデルを評価する最良の方法ではない可能性があると考えています。

📚 ドキュメント

次のステップは、このデータを別のデータセットでトレーニングすることです。そのデータセットは、プライバシーポリシーの文章を要約するものです。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。