Gpt J Fourchannel 4bit

🚀 変換モデルについて

このプロジェクトでは、GPTQ - v2形式のデータを変換しています。異なる設定での変換を行い、それぞれの結果を確認しています。また、GGMLフォルダにはGGML形式に変換したデータがあり、CPUで動作します。

✨ 主な機能

• GPTQ - v2形式のデータを異なる設定で変換。具体的には、グループサイズ128の設定、アクティベーションオーダーの設定、そして何も設定しない場合の3種類の変換を行っています。
• 変換したデータをGGML形式にも変換し、CPUでの動作を可能にしています。

📚 ドキュメント

変換設定

• グループサイズ128：一つの変換設定ではグループサイズを128に設定しています。
• アクティベーションオーダー：もう一つの設定ではアクティベーションオーダーを適用しています。
• 未設定：三つ目の設定では何も設定を行っていません。

GGML形式

GGMLフォルダには、変換したデータをGGML形式に変換したものが保存されています。これらのデータはCPUで動作するように最適化されています。