Llama 3 8B Instruct Abliterated V2

🚀 Llama-3-8B-Instruct-abliterated-v2 モデルカード

このモデルカードは、Llama-3-8B-Instruct-abliterated-v2モデルについて説明します。このモデルは、meta-llama/Llama-3-8B-Instructモデルの直交化バージョンであり、前世代のLlama-3-8B-Instruct-abliteratedを改良したものです。このバリアントでは、モデルが拒否を表現する能力を抑制するために特定の重みが操作されています。

Cognitive Computations Discordに参加しましょう！

🚀 クイックスタート

このモデルはTransformersライブラリで使用できます。 GGUFクアントはこちらで入手できます。

✨ 主な機能

• モデルは、「拒否方向」をより正確に特定するために、より多くのデータで学習されました。
• このモデルは、免責事項すら生成せずに、要求に直接かつ簡潔に答える能力が大幅に向上しています。

📚 ドキュメント

概要

このモデルカードは、Llama-3-8B-Instruct-abliterated-v2モデルについて説明します。このモデルは、meta-llama/Llama-3-8B-Instructモデルの直交化バージョンであり、前世代のLlama-3-8B-Instruct-abliteratedを改良したものです。このバリアントでは、モデルが拒否を表現する能力を抑制するために特定の重みが操作されています。

詳細

• モデルは、「拒否方向」をより正確に特定するために、より多くのデータで学習されました。
• このモデルは、免責事項すら生成せずに、要求に直接かつ簡潔に答える能力が大幅に向上しています。

手法

このモデルを生成するために使用された手法は、プレビュー論文/ブログ記事「Refusal in LLMs is mediated by a single direction」に記載されています。

特徴と副作用

このモデルは、手法がまだ新しく未検証であるため、興味深い特徴を持つ可能性があります。モデルを生成するために使用されたコードは、Pythonノートブックortho_cookbook.ipynbで入手できます。 重みを操作して拒否を抑制した後でも、モデルが特定の要求に拒否することがあることに注意してください。

可用性

このモデルはTransformersライブラリで使用できます。 GGUFクアントはこちらで入手できます。

📄 ライセンス

このモデルのライセンスはllama3です。